Artificial Creativity: Sounding AI

»Cosmologies III«, für feststehende 3D-Elektronik, versetzt die Hörer:innen in das Innere eines virtuellen Flügels, um dessen geheimes Innenleben zu erleben. Das mit einem 32-Kanal-Mikrofon-Spektrum aufgenommene Innere des Flügels wird durch 3D-Feldaufnahmen des Pariser Igor-Strawinsky-Platzes ergänzt, die einen Blick auf die Realität außerhalb des Konzertsaals ermöglichen und die Welt des Klaviers mit der unseren verschmelzen. Diese Aufnahmen werden durch eine Computersynthese mit künstlicher Intelligenz hervorgehoben und unterstrichen um die räumliche Präsenz der akustischen Instrumente zu reproduzieren, während sich der Mikrokosmos des inneren Raums des Klaviers überlebensgroß ausdehnt. Die binaurale Version wurde auf dem ZKM-Festival »inSonic 2020« vorgestellt, nun erfolgt die Premiere der mehrkanaligen Version.

Dem modularen Werk geht die interaktive 3D-Klanginstallation »Cosmologies II« voraus, in der das Publikum zu Interpret:innen des virtuellen Instruments wird. Die Umgebungsgeräusche und Bewegungen des Publikums, ob unbeabsichtigt oder beabsichtigt, lösen Funken von potenzieller Klangenergie aus, die an Intensität zunehmen. Das Publikum ist eingeladen, den Innenraum des virtuellen Klaviers zu erkunden und sich darin zu bewegen, bevor es sich still hinsetzt, während das Licht gedimmt wird und »Cosmologies III« beginnt.

Autor: Aaron Einbond

Produktionsassistenz: Benjamin Miller (Tonmeister am ZKM | Hertz-Labor)

Die Produktion dieses Werkes fand statt im Rahmen des Projekts EASTN-DC, kofinanziert durch das Förderprogramm »Kreatives Europa« der Europäischen Union.

»Poetica Liquida« ist ein Mehrkanalstück, das speziell für den Kubus am ZKM | Karlsruhe konzipiert wurde. Durch den Einsatz verschiedener Werkzeuge zur Musikerzeugung und Hybridisierung von Klangfarben erforscht dieses Stück die Begriffe Metamorphose und Hybridisierung, fließende Identität und Essenz. Techniken des maschinellen Lernens wie »Variational Auto-Encodeing« (VAE) wurden eingesetzt, um die Klangerzeugung mittels variabler neuronaler Audiosynthese zu transformieren. Werkzeuge, die auf Rekurrenten Neuronalen Netzen (RNN) basieren wurden ebenfalls eingesetzt, um die Vorschläge des Algorithmus sowie mögliche Entwicklungen desselben Musters frei zu erforschen und nach unerwarteten Ergebnissen in der Perspektive einer Rundreise mit der Maschine über einen überwachten Prozess zu suchen.

Das Werk entstand im Rahmen der Joint ZKM/IRCAM Residency.

»Sonata IV« besteht aus 4 Teilen, die jeweils durch ein kürzeres Intermezzo getrennt sind:

 1. »Black With Silver«
 2. »Largo – Potential Sites«
 3. »Più mosso«
 4. »(Comment)«

Ein Thema, das bei der Komposition des Stücks im Vordergrund stand, war die Auswahl einer Reihe von Techniken des maschinellen Lernens und das Ausloten von Möglichkeiten, diese in kreativen Arbeitsabläufen anzupassen und einzusetzen.

Der "Largo"-Abschnitt enthält eine nicht festgelegte Ebene, die für jede neue Aufführung vorzubereiten und gemäß den Anweisungen in der Partitur zu mischen ist. Bei dieser Ebene sollte es sich um eine Tonaufnahme handeln, die sich auf Ereignisse bezieht, welche die Weltgeschichte entweder gegenwärtig oder historisch prägen. Für diese Aufführung wurde eine Demonstration zur Unterstützung des aktuellen Widerstands in der Ukraine ausgewählt.

Vielen Dank an die Sopranistin Silje Marie Aker Johnsen.

Autor: Anders Vinjar

Wie ist Ihr Projekt entstanden?

Aus dem Interesse an den jüngsten Entwicklungen von Algorithmen des maschinellen Lernens für die Musikerzeugung.

Was ist der Hintergrund für Ihr Engagement bei diesen Projekten/Aufenthalten und was ist Ihre Intention?

Ich besuchte 2015 den IRCAM-Kurs und interessierte mich für neue Entwicklungen von Technologien zur Musikerzeugung.

Wie lange, warum und wie setzen Sie KI ein?

Ich verwende KI aus der Perspektive einer »erweiterten Kreativität« und eines Dialogs zwischen dem Komponisten und der Maschine.

Welchen Vorteil bietet der Einsatz von KI für Ihre Stücke und warum war er für die Entwicklung Ihrer Stücke unerlässlich?

Der Vorteil ist, dass KI-Tools es uns ermöglichen, Gewohnheiten und Komfortzonen zu verlassen und neue Gebiete zu erkunden. Der Output der Maschine kann manchmal überraschend sein und ermöglicht es uns, das als Input verwendete Objekt aus anderen und neuen Perspektiven zu betrachten.

Wie ist Ihr Projekt entstanden?

Das IRCAM hat mich zu diesem Aufenthalt eingeladen, nachdem ich bereits mit einigen seiner Forscher, insbesondere Jean Bresson, zusammengearbeitet habe. Bei unserer Zusammenarbeit geht es um die Entwicklung und Erprobung verschiedener Techniken des modernen maschinellen Lernens, die für kreative Arbeitsabläufe, insbesondere für die von Komponist:innen, nützlich sein können.

Was ist der Hintergrund für Ihr Engagement bei diesen Projekten/Aufenthalten und was ist Ihre Intention?

Seit Beginn meiner Arbeit als Komponist erforsche ich die zeitgenössischen Entwicklungen der Computertechnologie auf künstlerische Weise. Die aktuelle Residenz ist Teil dieser kontinuierlichen Suche nach künstlerischen Potenzialen in der Technologie des täglichen Lebens.

Wie lange, warum und wie setzen Sie KI ein?

Seit der Begriff in den 1950er Jahren weit verbreitet wurde, ist KI in der kreativen Arbeit und in der zeitgenössischen Kompositionsarbeit von mir und anderen immer wieder in Gebrauch gewesen. Ich begann mit der Erforschung von KI-Techniken während meines Studiums der Musikwissenschaft um 1990, um neue und potenziell sinnvollere Wege zur Darstellung fremder Musiktraditionen zu erkunden, die selten gut in westliche Musikkonzepte oder Notationsweisen passen. Diese Arbeit setzte sich bald in eine kreative Richtung fort, indem ich dieselben Techniken in meiner eigenen Kompositionsarbeit einsetzte.

Welchen Vorteil bietet der Einsatz von KI für Ihre Stücke und warum war er für die Entwicklung Ihrer Stücke unerlässlich?

An sich kann man nicht sagen, dass KI einen generellen Vorteil gegenüber anderen Ansätzen in meiner eigenen Kompositionsarbeit bietet. Sie bringt andere Möglichkeiten, andere Potentiale, andere Fragen, neue Probleme mit sich – Dinge, die sehr wertvoll sind, um sie auf der Suche nach neuen und relevanten künstlerischen Ausdrucksformen zu erforschen.

Ich sehe mindestens 2 unmittelbare Potentiale durch den Einsatz moderner KI:

 • die Möglichkeit, kontrolliert mit komplexeren Daten zu arbeiten
 • Viele der beteiligten Algorithmen und Techniken sind – für eine Person mit einem normalen    Kompositionshintergrund wie mich – nur schwer vollständig zu begreifen. An sich ist dies eine interessante Möglichkeit, als Künstler:in voranzukommen und hoffentlich Kunst zu machen, die in der heutigen Gesellschaft relevant ist.

Wie ist Ihr Projekt zustande gekommen?

Das Projekt entstand aus einem STARTS-Aufenthalt, den ich 2019 - 2020 am IRCAM absolvierte und bei dem ich mit den Forschern Jean Bresson, Diemo Schwarz und Thibaut Carpentier an einem neuartigen Ansatz zur interaktiven Klangverräumlichung unter Verwendung von HOA-Techniken (Higher Order Ambisonic) und künstlicher Intelligenz (KI) auf der Grundlage der Strahlungsmuster akustischer Instrumente arbeitete. Das künstlerische Ergebnis war eine neue Komposition »Cosmologies« für Klavier und 3D-Elektronik, die vom IRCAM im Centre Pompidou mit dem Solisten Alvise Sinivia produziert wurde. Nach der Fertigstellung dieses Werks sah ich das Potenzial, es um zwei weitere modulare Sätze zu erweitern, die sich der dreidimensionalen Elektronik im ZKM_Kubus in zwei komplementären Medien nähern, die zusammen oder getrennt präsentiert werden können: eine interaktive Klanginstallation, in der sich das Publikum frei bewegen kann, um die 3D-Elektronik zu erkunden und eine feststehende elektroakustische Komposition, die das Publikum inmitten des Mikrokosmos des Klavierinnenraums platziert, der überlebensgroß ist und den Kubus ausfüllt.

Was ist Ihr Hintergrund und Ihre Absicht für die Teilnahme an diesen Projekten/Aufenthalten?

Ich habe zwar während meiner gesamten künstlerischen Laufbahn an Projekten mit Musiktechnologie gearbeitet, aber dieses Projekt stellte noch komplexere Anforderungen an Computerprogramme, Algorithmen, akustische Wissenschaft und technisches Denken als zuvor. Dies erfordert eine Zusammenarbeit, um ein Projekt zu realisieren, das breiter angelegt ist, als ich es mir als Komponist allein vorstellen könnte. Durch die Zusammenarbeit mit Jean Bresson, Diemo Schwarz, Thibaut Carpentier, Alvise Sinivia und Benjamin Miller (Tonmeister am ZKM | Hertz-Labor) im Rahmen von Forschungsaufenthalten am IRCAM und am ZKM war ich in der Lage, Klangsituationen zu konzipieren, die über das hinausgehen, was ich mir allein vorstellen konnte.

Was sind einige zusätzliche Informationen, die nicht in Ihren Werkbeschreibungen enthalten sind?

Der Titel nimmt die Bildsprache der physikalischen Kosmologie als künstlerische Metapher auf. Abgeleitet von den griechischen Wörtern kosmos (Welt) und logia (Studium) suggeriert der Titel eine Analogie zwischen dem Mikrokosmos des Klavierinneren, der sich, die Zuhörer:innen umgebend, auf den Raum des Konzertsaals ausdehnt und der Strahlung, die sich aus dem frühen Universum über Milliarden von Jahren ausbreitet, um uns an unserem heutigen Blickwinkel zu erreichen.

Können Sie ein paar Worte dazu sagen, wie lange, warum und wie Sie KI einsetzen?

Die Forschung im Bereich der künstlichen Intelligenz (KI) ist allgegenwärtig, ignoriert jedoch häufig die verkörperte Präsenz des Live-Instruments und der Interpret:innen. Dieses Projekt konzentriert sich stattdessen auf das situierte Zuhören, wobei maschinelles Lernen von Audiomerkmalen eingesetzt wird, um die komplizierten Interdependenzen von Klangfarbe und Raum zu entschlüsseln, die ein akustisches Instrument zum Leben erwecken. Obwohl ich mich erst seit Beginn meiner »Cosmologies«-Reihe im Jahr 2020 mit KI beschäftige, werde ich sie in Zukunft weiter ausbauen. Derzeit arbeite ich an einer neuen Komposition für Schlagzeug und 3D-Elektronik als Teil eines Projekts des Europäischen Forschungsrats »Music and Artificial Intelligence: Aufbau kritischer interdisziplinärer Studien«.

Welchen Vorteil hat der Einsatz von KI für Ihre Stücke und warum war diese für die Entwicklung Ihrer Stücke unerlässlich?

Ich begann den Kompositionsprozess mit 3D-Audiofeldaufnahmen und 3D-Aufnahmen im Inneren des Flügels unter Verwendung des Eigenmike 32-Kanal-Kugelmikrofonarrays. Damit konnte ich zwar räumliche akustische Phänomene mit hoher Auflösung erfassen und reproduzieren, doch ich wollte noch weiter gehen und die Aufnahmen durch neue, unvorhersehbare Reaktionen ergänzen. Mithilfe von maschinellem Lernen "lernt" der Computer aus den 3D-Abstrahlungsmustern akustischer Instrumente auf neue und bearbeitete Samples zu reagieren und sie auf der Grundlage ihrer klanglichen Merkmale zu verorten. Diese unvorhersehbaren Reaktionen sind in der Echtzeit-Installation »Cosmologies II« zu hören, wo der Computer auf die Umgebungsgeräusche des Publikums und des Konzertsaals reagiert sowie während der fest installierten Elektronik von »Cosmologies III«, wo er auf das Klavier und Feldaufnahmen reagiert.

Was halten Sie sonst noch für interessant und lesenswert?

Die natürlichen akustischen Phänomene, die zum Trainieren des Algorithmus für maschinelles Lernen verwendet wurden, stammen aus einer Studie der Technischen Universität (TU) Berlin über ambisonische Abstrahlungsmuster vierter Ordnung für 41 akustische Instrumente. Ich habe dies mit einem interaktiven Max-Patch implementiert und dabei die Softwarepakete Spat und MuBu für Max verwendet, um Samples auf diese gemessenen HOA-Muster abzubilden und so von den einzigartigen räumlichen Eigenschaften der Instrumente zu "lernen".