Archival Intelligence: AI x Archives x Museums

Programm

Margit Rosen 

ZKM | Karlsruhe

Adelheid Heftberger 

Bundesarchiv, Berlin

Christiane Sibille 

ETH Zurich

Giovanni Colavizza 

University of Copenhagen

Jasmijn Van Gorp 

Utrecht University

Andreas Kohlbecker 

ZKM | Karlsruhe

Ralph Ewerth 

Philipps University Marburg, TIB Leibniz Information Centre 
for Science and Technology,
Hannover

Dominik Bönisch Alpári 

University of Applied Sciences 
Düsseldorf

Heiko Schuldt 

University of Basel

Bárbara Romero Ferrón 

Leuphana University of Lüneburg

Robert Erdmann 

University of Amsterdam

Kim Voss 

DRA | German Broadcasting Archive

Inside the Toolbox: Exploring AI-Driven Prototypes in Archives and Museums 

Die Präsentation bietet Einblicke in pragmatische Ansätze, um Museumssammlungen und kulturelle Archive, die vielfältige Bilder sowie audiovisuelle Materialien in komplexen sprachlichen Kontexten umfassen, zugänglicher und auf neue Weise erkundbar zu machen. Der Vortrag stellt drei spezifische Prototypen vor, die in Projekten entwickelt wurden, die Suchalgorithmen, generative KI und benutzerdefinierte GPT-Modelle verwenden. Er soll alle dazu ermutigen, mit den verfügbaren Tools zu experimentieren. Zu diesem Zweck werden praktische Berichte über den Anwendungsdesignprozess und kurze Tutorials vorgestellt, die Gelegenheit bieten, eigene Erfahrungen einzubringen und gewonnene Erkenntnisse auszutauschen.

Using AI to Broaden Access to Historical Archives 

Künstliche Intelligenz (KI) ist von entscheidender Bedeutung für die Unterstützung von Archivierungsprozessen und Entscheidungen im Bereich der Aktenverwaltung, auch für zunehmend digitalisierte historische Archive. Der Umfang und die Komplexität historischer Archive tragen dazu bei, dass KI für die Verbesserung ihrer Organisation und die Erweiterung ihres Zugangs immer relevanter wird. In diesem Vortrag werde ich die jüngsten Entwicklungen an der Schnittstelle zwischen Archiven und KI diskutieren und einige der Herausforderungen hervorheben, die noch vor uns liegen. Außerdem werde ich aktuelle Arbeiten vorstellen, die den aktuellen Stand der KI in historischen Archiven veranschaulichen. Abschließend werde ich zukünftige Forschungsrichtungen in diesem Bereich vorschlagen.

Artificial Intelligence Across the Museum Workflow: Conservation, Collections, Curation 

Wenn sie in sorgfältig entwickelte Spezialsoftware eingebettet werden, können die jüngsten Fortschritte in der KI dramatische Vorteile für alle Arbeitsabläufe im Bereich des Kulturerbes bieten, darunter fortschrittliche Bildgebung, wissenschaftliche Analyse, Zustandsbewertung, Visualisierung von Beweismitteln zur Unterstützung der Zuschreibung, Sammlungsmanagement und Öffentlichkeitsarbeit. Live-Demos der Projekte des Autors liefern Beispiele für jeden dieser Bereiche, von der Erstellung und Analyse eines 717-Gigapixel-Bildes von Rembrandts Nachtwache bis hin zu einer Echtzeit-App, die mehr als 10 Millionen Bilder des Kulturerbes pro Sekunde durchsucht. Zusammen zeigen diese und mehrere andere Anwendungen den verantwortungsvollen Einsatz von KI, um der Welt den Zugang zu ihrem kulturellen Erbe zu ermöglichen, es zu bewahren und zu verstehen.

Using the TIB AV Analytics Platform for Analyzing Disinformation Patterns in News Videos 

Die automatische Videoanalyse ermöglicht Anwendungen in vielen Disziplinen, darunter Film- und Medienwissenschaften, Kommunikationswissenschaften und Pädagogik. In diesem Vortrag stelle ich die webbasierte Videoanalyseplattform TIB AV-Analytics (TIB-AV-A) vor, die modernste Ansätze aus den Bereichen Computer Vision, Audioanalyse und natürliche Sprachverarbeitung für relevante Videoanalyseaufgaben integriert. Um zukünftige Erweiterungen zu erleichtern und die Interoperabilität mit bestehenden Tools zu gewährleisten, wird eine Plugin-Struktur mit entsprechenden Schnittstellen und Import-Export-Funktionen verwendet. TIB-AV-A nutzt moderne Webtechnologien, um Benutzern eine interaktive Weboberfläche zur Verfügung zu stellen, die manuelle Annotationen ermöglicht und Zugriff auf leistungsstarke Deep-Learning-Methoden bietet, ohne dass spezielle Hardware erforderlich ist.

Als Anwendungsfall für TIB-AV-A werde ich Ergebnisse aus dem Forschungsprojekt »FakeNarratives« (gefördert vom Bundesministerium für Bildung und Forschung) zur Analyse von Nachrichtenvideos vorstellen. Hier haben wir zunächst untersucht, ob sich die narrativen Strategien für Rundfunk und »alternative« Medien unterscheiden, und zweitens, ob es typische narrative Muster für die Vermittlung von Desinformation gibt. Ein Beispiel für ein Ergebnis dieses Projekts ist unser Ansatz zur Identifizierung von Sprecherrollen und Situationen in Nachrichten, was eine Voraussetzung für die Analyse narrativer Muster ist.

Repeated TV: Methods to Study Archived Television with AI 

Das Medium Fernsehen zeichnet sich durch zeitliche Muster der Wiederverwendung und Wiederholung aus. Wie William Uricchio feststellt, ist diese »rekombinatorische Praxis« aus Fernseharchiven besonders schwer wiederherzustellen. In diesem Vortrag untersuche ich kritisch verschiedene Methoden, die sich auf KI-generierte Spracherkennungsdateien und »manuelle« Bilderkennung stützen, um Formen der Wiederholung in archivierten Fernsehsendungen zu identifizieren. Zusammengenommen zeigen diese Methoden, wie archiviertes Fernsehen der Inbegriff einer rekombinatorischen Praxis ist, in der Wiederholung mit archivarischen Neuordnungsprozessen verflochten ist. Der Vortrag zeigt auch, inwieweit Urheberrechte und Zugangsbeschränkungen die aktuelle Forschung zu KI und Archiven maßgeblich prägen.

AI Projects at the Bundesarchiv – First Steps and Initial Findings 

In meinem Vortrag werde ich zwei aktuelle KI-Projekte im Bundesarchiv vor dem Hintergrund interner Diskussionen zum Thema KI vorstellen und unsere Erfahrungen und Herausforderungen diskutieren. Dabei werde ich mich auf Überlegungen zu unseren audiovisuellen Beständen konzentrieren. Außerdem werde ich die ersten Schritte des Bundesarchivs in einen breiteren Kontext ähnlicher Diskussionen innerhalb der internationalen Filmarchivgemeinschaft stellen. Abschließend möchte ich einen Ausblick auf zukünftige Anwendungen (oder deren Fehlen) von KI-Technologie im Bundesarchiv wagen.

Experiments, Prototypes, and Perspectives – AI-Supported Access to the ZKM Archive 

Jüngste Fortschritte in der KI, die durch Open-Source-Tools ermöglicht werden, ermöglichen eine schnelle Prototypenentwicklung. Im ZKM Archiv haben wir experimentelle Arbeitsabläufe und Prototypen entwickelt, die KI nutzen, um den Zugang zu Manuskripten mit handgezeichneten elektronischen Schaltkreisen und Textbeständen sowie konzeptionelle Perspektiven für zeitbasierte Medien zu verbessern, einschließlich Fällen, in denen der Zugang gesetzlich beschränkt ist. Dieser Vortrag präsentiert ausgewählte Ergebnisse dieser Bemühungen, identifiziert Einschränkungen im Ökosystem der KI-Tools, insbesondere hinsichtlich der multimodalen Analyse großer zeitbasierter Mediensammlungen in GLAM, und skizziert Perspektiven für verantwortungsvolle und skalierbare Ansätze zur Erschließung von Archivwissen.

The Epistemologies of Provenance: Textual Practices, Humans, and Artificial Intelligence

Die Arbeit mit Provenienz bedeutet oft, sich mit Provenienzaufzeichnungen auseinanderzusetzen, die als eine besondere »literarische Gattung« verstanden werden können: narrativ, formelhaft, fragmentarisch und häufig mehrdeutig. Die in diesen Erzählungen enthaltene Erkenntnistheorie stellt zusammen mit anderen wichtigen Quellen wie Ausstellungsgeschichten eine große Herausforderung dar: dichtes menschliches Wissen, komprimiert in prägnanten Formulierungen. Im Rahmen des Projekts Modern Migrants im Provenance Lab haben wir Methoden entwickelt und erforscht, die NLP und LLMs zusammen mit kunsthistorischem und provenienzbezogenem Fachwissen nutzen, um diese Aufzeichnungen in strukturierte, wiederverwendbare Daten umzuwandeln und dabei ihren interpretativen Reichtum und ihre Nuancen zu bewahren.

Ask not what your archive or museum can do for you – ask what vitrivr can do for your search 

In den letzten Jahren hat die Verbreitung leistungsstarker KI-Tools die Analyse großer Text- und Multimediasammlungen erheblich vorangetrieben. Die Suche in solchen Sammlungen hat jedoch noch nicht ihr volles Potenzial erreicht, insbesondere wenn es um historische Inhalte oder audiovisuelle Daten geht. In diesem Vortrag stelle ich vitrivr vor, ein Full-Stack-Open-Source-Multimedia-Retrieval-System, das diese Einschränkungen beseitigt. Darüber hinaus werde ich aktuelle Anwendungen von vitrivr im Bereich des kulturellen Erbes vorstellen. 

Transform – Evaluate – (Re-)Use: Collections as Data in Practice 

Seit 2021 entwickelt das Büro für digitale Wissenschaftsdienste der Sammlungen und Archive der ETH-Bibliothek Projekte und Dienstleistungen an der Schnittstelle zwischen digitalisierten Sammlungen, Infrastruktur und Forschung. Die Idee von »Sammlungen als Daten« und der Einsatz von Technologien des maschinellen Lernens standen von Anfang an im Mittelpunkt dieser Arbeit. Derzeit konzentrieren sich diese Projekte auf Workflows zur Transformation und Anreicherung digitalisierter Sammlungen, die von handschriftlichen Transkripten bis hin zu reich illustrierten Zeitschriften reichen. In diesem Zusammenhang haben wir einen vierstufigen konzeptionellen Rahmen entwickelt, der uns hilft, verschiedene Anwendungsebenen für maschinelles Lernen in Archiven zu identifizieren. In meinem Vortrag werde ich diesen Rahmen vorstellen und die Erkenntnisse aus unseren Projekten diskutieren, wobei ich mich auf die Rolle interdisziplinärer Methoden bei der Etablierung nachhaltiger Workflows und Dienste konzentrieren werde.

Unlocking GDR Broadcasting History with AI: A Journey Through Archival Automation

Im Deutschen Rundfunkarchiv wurde 2022 ein spezielles Automatisierungsteam mit dem Ziel gegründet, KI und automatisierte Arbeitsabläufe in Archivierungsprozesse zu integrieren. Seitdem hat das Team mit großen Sprachmodellen und anderen KI-Tools für die Transkription und Indizierung experimentiert. Auf der Grundlage dieser Erfahrungen wurden Projekte zur Integration der Tools in die täglichen Dokumentationsabläufe ins Leben gerufen. Derzeit finalisiert das Team eine Webanwendung, die die KI-Analyse von DDR-Rundfunkaufzeichnungen verbessert und Tools zur Validierung der Ergebnisse vor der Datenbankintegration bereitstellt. In diesem Vortrag werden die Herausforderungen bei der Anwendung von KI auf oft fragile und komplexe historische Aufzeichnungen sowie der iterative Entwicklungsprozess, der zu einer spezialisierten Webanwendung geführt hat, detailliert beschrieben.