Style Transfer

Dass man mit künstlichen neuronalen Netzen neben photorealistischen auch nicht-photorealistische Bilder erzeugen kann, zeigten Gatys, Ecker und Bethge von der Universität Tübingen erstmalig im Jahr 2015 in ihrer wissenschaftlichen Veröffentlichung »A Neural Algorithm of Artistic Style« (Leon A. Gatys, Alexander S. Ecker, Matthias Bethge, Bethge Lab, Universität Tübingen, arXiv, 2015). Das Netzwerk überträgt dabei die für einen künstlerischen Stil besonderen Merkmale eines vorgegebenen Bildes auf ein vorgegebenes Zielbild. Fotografien im Stil zeitgenössischer Maler darzustellen benötigte damals allerdings noch mehrere Minuten.

Im Gegensatz dazu reduziert das am KIT weiter entwickelte, mit 1.2 Millionen Einzelbildern bereits vortrainierte Netz, die Verarbeitungsdauer drastisch. Das Netzwerk überträgt dabei Elemente der auf dem Monitor rechts unten dargestellten Vorgabe auf das Bild der Videokamera.

Bereits in den 1940er-Jahren wurden die ersten Algorithmen basierend auf künstlichen neuronalen Netzen vorgestellt. Erst in den letzten Jahren dominieren sie auch verschiedene Anwendungen des klassischen maschinellen Sehens und der Bildverarbeitung. Die entscheidende Rolle für diesen Entwicklungssprung wird häufig dem Zusammentreffen zweier Faktoren zugesprochen: zum einen erlaubte die Entwicklung für die parallele Verarbeitung geeigneter Prozessoren eine bedeutend komplexeren Aufbau der Netzwerke, die sogenannten tiefen neuronale Netze (Deep Neural Networks). Auf der anderen Seite erhöhte sich die Verfügbarkeit umfangreicher digitaler Daten zum Training der Netzwerke durch das Internet und durch moderne Sensoren.

Wissenschaftliche Vorarbeit:

• Leon A. Gatys, Alexander S. Ecker, Matthias Bethge, Universität Tübingen: A Neural Algorithm of Artistic Style, arXiv, 2015
• Justin Johnson, Alexandre Alahi, Li Fei-Fei, Stanford University: »Perceptual Losses for Real-Time Style Transfer and Super-Resolution«,​​ arXiv, 2016.

Produktion:

• KIT, Institut für Visualisierung und Datenanalyse