Kompositionen für kognitive Systeme

Von intelligenten Agenten hin zur neuronalen Klangsynthese: Längst sind viele neue Potenziale des Einsatzes von KI in der Musik greifbar, die über die Partiturerzeugung weit hinausgehen und Möglichkeiten zur Ko-Kreativität zwischen Mensch und Maschine eröffnen.

VON YANNICK HOFMANN

»Wir können alle einpacken und nach Hause gehen – Hip-Hop gibt es jetzt als Plug-In auf PC, [...] ausgerüstet mit ‘nem digitalen Beatknopf, der alle Styles liefert, von Lil Jon bis Pete Rock.«[1]
Wird dieser polemische Vierzeiler aus einem Rapsong von 2004 von der Realität eingeholt?

Eine US-amerikanische Werbeagentur hat ein maschinell lernendes KI-Modell mit MIDI-Daten und Texten des Hip-Hop-Künstlers Travis Scott trainiert und Anfang des Jahres den Song »Jack Park Canny Dope Man« ihrer mittelmäßig authentischen Deepfake-Replik namens Travis Bott veröffentlicht. Davon, dass eine Künstliche Intelligenz (KI) den Song erschaffen habe, kann aber natürlich keine Rede sein – denn auch 2020 ist KI weder intrinsisch motiviert, eigene Rapsongs zu kreieren, geschweige denn dazu in der Lage, autonom veröffentlichungsreife Musik zu produzieren. Philippe Esling, der am Pariser IRCAM die Forschungsgruppe Artificial Creative Intelligence and Data Science leitet, bekräftigt, dass eine KI nichts von selbst täte und es immer einen Menschen gäbe, der die Ergebnisse nachproduziert.[2]

Solche Modelle, die symbolische Musik auf Knopfdruck erzeugen, pervertieren die Kernidee des algorithmischen Komponierens, nämlich symbolische Musik aus formal beschreibbaren Prozessen heraus automatisiert zu erzeugen. Basierend auf der Technologie des maschinellen Lernens mit großen Datenmengen, dem sogenannten Deep Learning, können sie in die künstlerisch- kreative Sackgasse führen, wo sie dann für die KI-unterstützte Massenproduktion von Werbemusik oder in Produkten der Computerspielindustrie eingesetzt werden.

Darüber hinaus wurden in den vergangenen Jahren auch diverse neue Anwendungen veröffentlicht, die in den Bereich des computerunterstützten Komponierens fallen, in ihrer Banalität die Komponierenden der zeitgenössischen Musik aber wohl kaum erreichen dürften: Mit »Amper Music«, »Jukedeck«, »Watson Beat« und »Flow Machines« gelangen auch die kompositorisch Unbedarften mit wenigen individuellen Eingaben zum fertigkomponierten musikalischen Produkt. 

Die Fähigkeit der künstlichen neuronalen Netze, Muster in großen Datenmengen erkennen zu können, ist aber keineswegs auf die symbolisch darstellbaren Klangverläufe der notenbasierten Musik beschränkt. Längst sind viele neue Potenziale greifbar, die über die Partiturerzeugung weit hinausgehen: von neuen Ansätzen im Bereich der Audiosignalverarbeitung und der Klangsynthese bis zum Einsatz sogenannter intelligenter Agenten. Die neuen Techniken werden die Komponierenden nicht arbeitslos machen, genauso wenig wie die Erfindung der elektronischen Speichertechniken, des Synthesizers oder des Computers dies in der Vergangenheit getan hätten.

Ein Paradigmenwechsel: Von der symbolischen zur neuronalen KI

Durch das Narrativ von Tech-Blogs und befördert durch den KI-Hype der vergangenen Jahre werden der KI-Begriff und künstliche neuronale Netze häufig als Synonym verwendet. Das kann den Eindruck erwecken, KI sei keine zehn Jahre alt. Tatsächlich wurden einige KI-Techniken bereits ab den späten 1950er Jahren in die Musik eingeführt, lange bevor es praktikabel geworden ist, künstliche neuronale Netze zu verwenden. Das belegen die kanonisierten Frühwerke der algorithmischen Komposition, wie zum Beispiel das computergenerierte Streichquartett »Illiac Suite« (1957) von Lejaren Hiller und L. M. Isaacson, für dessen automatisierte Partiturerzeugung unter anderem generative Grammatik und sogenannte Markov-Ketten verwendet worden sind. Oder Iannis Xenakis, der die Markov-Ketten beim Komponieren von »Analogique A« für 9 Streicher (1958) und »Analogique B« für Vierkanal-Tonband (1959) verwendet hat. Der Komponist hat dem Einsatz probabilistischer Methoden kompositionstheoretische Manifeste gewidmet und eine algorithmische Kompositionssoftware basierend auf stochastischen Prozessen entwickelt. Viele weitere Beispiele für die Anwendung von Methoden der klassischen KI, der auf symbolischer Informationsverarbeitung basierenden »Good Old-Fashioned Artificial Intelligence«, müssten an dieser Stelle genannt werden.

Einige der oberflächlich geführten Diskurse rund um das Thema Musik und KI müssten den Komponierenden der computergestützten algorithmischen Komposition oder der computerunterstützten Komposition wie ein Aufguss vorkommen. Zum Beispiel wurden bereits seit den frühen 1980er Jahren sämtliche Register der symbolischen KI-Forschung gezogen, um die künstlerische Handschrift von Komponierenden quasi aus ihrem Œuvre herauszudestillieren. Johann Sebastian Bach hat über 370 Choräle komponiert, die in diesem Zusammenhang einen besonders beliebten Datenpool darstellen, denn computererzeugte Choralbegleitungen den originären Bach-Stil glaubhaft imitieren zu lassen scheint den KI-Forscher*innen als Benchmark zu gelten. Mittlerweile stehen Deep-Learning-basierte KI-Modelle wie »DeepBach« neben regelbasierten Expertensystemen wie David Copes »Emmy« (Experiments in Musical Intelligence) oder Kemal Ebcioglus »CHORAL«.

Wenngleich es interessant sein mag, zu beobachten, inwiefern Ansätze zweier unterschiedlicher KI-Paradigmen für die Lösung desselben Problems eingesetzt worden sind, dienen diese Modelle im Regelfall mehr dem wissenschaftlichen Konzeptbeweis, als dass sie heute noch eine musikalische Revolution heraufbeschwören würden. Dass aber sogar ein auf Bach-Choräle trainiertes neuronales Netz originell in eine zeitgenössische Musikkomposition eingebunden werden kann, demonstriert die audiovisuelle Performance »Fantasie#1« (2019) für Radioteleskop, künstliche Intelligenz und selbstspielende Orgel des Duos Quadrature in Zusammenarbeit mit dem Medienkünstler und Entwickler Christian Losert. Hier werden Weltraumsignale, die mittels eines selbstgebauten Radioteleskops aufgenommen werden, in MIDI-Daten verwandelt und in das neuronale Netz eingespeist. Es beginnt, von »vertrauten Melodien in [...] fremden Klängen zu fantasieren«[3] und überträgt im Verlauf der Performance Bach-artige Klangpattern auf die Manuale einer selbstspielenden Orgel.

Ko-Kreativität von Mensch und Maschine

Bereits für Karlheinz Stockhausen bestand in den 1960er Jahren kein Zweifel daran, dass vieles, was man bisher nur von Berufsmusiker*innen durchschnittlichen Könnens, durch Training aufgebaut, für ausführbar angesehen hat, auch von Automaten geleistet werden könne.[4] Die beschriebenen Anwendungen, die Partituren oder Audio erzeugen, seien für die Musiker*innen und die Komponierenden aber eher nutzlos, findet Philippe Esling, dem zufolge das Ziel nicht sei, Musik per Knopfdruck zu erzeugen.[5]

Im interdisziplinären Forschungsfeld Computational Creativity, das an der Schnittkante von Wissenschaft, Technologie, Kunst und Philosophie siedelt, wird unter anderem die teilweise oder vollständige Automatisierung musikalischer Aufgaben durch Software-Agenten untersucht. Das sind Computerprogramme, die auf Eingaben reagieren, autonome Entscheidungen treffen und ihr Verhalten adaptieren können.

Der belgische Künstler Peter Beyls gilt als Pionier im künstlerischen Umgang mit musikalischen Agentensystemen im Bereich der kollaborativen Improvisation von Mensch und Maschine. In den 1980er Jahren entwickelte er am Artificial Intelligence Lab der Brussels University das Computerprogramm »Oscar« (OSCillator ARtist) – ein Expertensystem, das mit menschlichen Musiker*innen live improvisieren konnte. Da Expertensysteme früher oder später an ihre Grenzen stoßen, beschrieb Beyls, dass es sein langfristiges Ziel sei, Lernfähigkeit in das Computerprogramm zu implementieren. Heute kann dies durch die weiterentwickelten Werkzeuge des maschinellen Lernens bewerkstelligt werden.

Intelligente Agenten, die auf Algorithmen des maschinellen Lernens basieren, sind ein Spezialgebiet der Komponistin und Promotionsstudentin Artemi-Maria Gioti, die am Institut für elektronische Musik und Akustik der Kunstuniversität Graz zusammen mit Gerhard Eckel im künstlerischen Forschungsprojekt »Inter_agency: Composing Sonic Human-Computer Agent Networks« arbeitet. Mit dem Projekt verfolgen sie die Idee einer Ko-Kreativität von Mensch und Maschine und versuchen, die Rahmenbedingungen für einen gleichberechtigten kreativen Austausch herzustellen. Im vergangenen Jahr hat Gioti eine interaktive Komposition für ein robotisiertes Schlagzeug und einen menschlichen Schlagzeuger komponiert. Damit die Maschine unterschiedliche Instrumente und Spieltechniken erkennen kann, musste Gioti zunächst ein maschinell hörendes und verstehendes System entwickeln. Die Disziplin Machine Listening verfolgt das Ziel, Computern anzutrainieren, Audioinhalte nachzuvollziehen, und kombiniert die technischen Methoden der Audiosignalverarbeitung und des maschinellen Lernens, um sinnhafte Informationen aus natürlichen Klängen, Alltagsgeräuschen und aufgenommener Musik zu gewinnen. In diesem Zusammenhang bedeutet der Einsatz des maschinellen Lernens einen substanziellen Schritt nach vorne in der Erforschung von menschlich-maschineller Ko-Kreativität.

Für das kollaborative Kompositionsprojekt »CECIA (Collaborative Electroacoustic Composition with Intelligent Agents)«, das Gioti 2019 zusammen mit Kosmas Giannoutakis am ZKM | Hertz-Labor auf einer eigens entwickelten Cloud-Plattform durchgeführt hat, wurden intelligente Agenten programmiert, welche die kompositorischen Präferenzen von fünf Komponist*innen und Klangkünstler*innen analysierten und elektroakustische Miniaturen erzeugten. Die menschlichen Künstler*innen konnten basisdemokratisch über den Verbleib der Miniaturen in der finalen Komposition abstimmen. Das Projekt endete mit der erfolgreichen Uraufführung einer musikalisch kohärenten elektroakustischen Komposition.

Neuronale Klangsynthese

Ein Feld, das noch viel Raum für Forschung und Entwicklung bietet, ist die neuronale Klangsynthese. Im Rahmen von Googles Forschungsprojekt Magenta ist vor wenigen Jahren der »NSynth« (Neural Synthesizer) zur Timbregestaltung entstanden und quelloffen veröffentlicht worden. Hier werden aus einem Korpus bestehender Klänge heraus Klangcharakteristika von Trainingsdaten erlernt, zwischen denen interpoliert werden kann, um neue Klänge zu erzeugen. Diese Technik hat der italienische Komponist Martino Sarolli für seine elektroakustische Komposition »Lapidario_01« für die Verklanglichung von Siliziumkristallen verwendet, wofür er 2018 am ZKM mit dem Giga-Hertz-Sonderpreis im Bereich künstliche Intelligenz ausgezeichnet worden ist.

Die Klänge von »GRANNMA (Granular Neural Music and Audio)« sind gänzlich unvorhersehbar. Das neuronale Klangsyntheseverfahren wurde vom Künstler und Programmierer Memo Akten mit dem Ziel entwickelt, Klänge erzeugen zu können, die nur noch vage an die Trainingsdaten erinnern. Für die Performance »Ultrachunk« (2018) mit Komponistin und Vokalsolistin Jennifer Walshe wurde das neuronale Netz mit improvisierten Stimmsoli von Walshe trainiert. Im Rahmen der Live-Aufführung improvisiert sie im Duett mit einer artifiziellen, dennoch vertraut anmutenden und in Echtzeit manipulierbaren Version ihrer eigenen Stimme.

In puncto Unberechenbarkeit schließt sich hier der Kreis zu einem der frühesten künstlerischen Experimente im Bereich der neuronalen Klangsynthese: Der »ETANN Synthesizer« (Electronically Trainable Analog Neural Net) gilt als der erste analoge neuronale Synthesizer und wurde zur Realisierung live-elektronischer Feedback-Performances von Composer-Performer David Tudor entwickelt. Tudor hat ihn für »Neural Network Plus« sowie »Neural Synthesis nos. 1–9« (1992–1994) verwendet.

Was als KI-Technik durchgeht, hängt also vom technologischen Zeitgeist und dem sich dynamisch wandelnden Intelligenzbegriff ab. Der Computermusiker und Publizist Curtis Roads schrieb dazu bereits Mitte der 1980er Jahre: »Die genauen Grenzen der KI sind schwer fassbar, da sie mit dem zusammenhängen, was Menschen als intelligentes Verhalten empfinden.«[6] Roads zufolge stellt KI für manche Menschen das dar, was wir noch nicht erreicht haben, unabhängig davon, was bereits gelöst wurde. – Ein möglicher Grund, warum viele KI-Ansätze angesichts der neuen beeindruckenden Möglichkeiten der neuronalen KI in Vergessenheit zu geraten drohen.

[1] Olli Banjo feat. Eizi Eiz: »Durch die Wand«, auf: Olli Banjo: CD »Sparring«, Headrush Records 2004.

[2] vgl. Julia Benarrous: »Artificial intelligence and music: a tool shaping how composers work«, unter: https://medium.com/@julia.benarrous/artificial-intelligence-and-music-a… (letzter Zugriff am 7.6.2020). 

[3] PODIUM Esslingen: »Quadrature«, unter: https:// bebeethoven2020.com/fellows/quadrature/ (abgerufen am 7.6.2020). 

[4] vgl. Karlheinz Stockhausen (1978), zit. nach Curtis Roads: »Research in music and artificial intelligence«, in: »ACM Computing Surveys (CSUR)« 2/1985, S. 186. 

[5] vgl. Javier Nistal: »Deep beers. A chat with Philippe Esling«, unter: https://mip-frontiers.eu/2020/01/04/ Philippe_Esling.html (letzter Zugriff am 7.6.2020). 

[6] Curtis Roads: »Research…«, a. a. O., S. 163. 

Dieser Artikel wurde in der Zeitschrift »Neue Zeitschrift für Musik« (Ausgabe 4/2020) erstveröffentlicht.

Yannick Hofmann ist Medienkünstler und Kurator. Er arbeitet am ZKM als Projektleiter im Bereich Forschung & Produktion, wo er aktuell das Projekt »Das intelligente Museum« betreut.