Künstliche Intelligenz für die Digitalisierung und Erschließung �des kulturellen Erbes ��Chancen, Risiken und Beispiele aus der Praxis

Clemens Neudecker | Staatsbibliothek zu Berlin - Preußischer Kulturbesitz

No risk, no innovation? Künstliche Intelligenz in der Museumspraxis | 26. April 2024

Staatsbibliothek zu Berlin - Preußischer Kulturbesitz

• gehört zur Stiftung Preußischer Kulturbesitz (SPK)
• ist an zwei Standorten in Berlin an 7 Tagen die Woche kostenlos für die Benutzung geöffnet
• sammelt seit 1661 wissenschaftlich relevante Literatur aus allen Sprachen, Zeiten und Ländern
• besitzt Hauptbestand mit ca. 12 Mio. Büchern, jährlicher Zuwachs von etwa 100,000 Titeln
• Digitalisierte Sammlungen geben Zugang zu über 200,000 digitalisierten Dokumenten, mit Public Domain Lizenz und via IIIF API
• Stabi Lab für Experimente, Datensets, Digital Humanities

KI (bzw. Machine Learning) in der Stabi Berlin

• Drittmittelprojekte
• 2016—2024: OCR-D (DFG)
• 2018—2021: Qurator (BMBF)
• 2022—2025: Mensch.Maschine.Kultur (BKM)
• Team
• 6x 100% Machine Learning Engineer
• 2x 50% Bibliothekswissenschaftler:in
• 1x 100% Forschungsdatenmanager:in
• Hardware
• GPU Server mit 4x NVIDIA Tesla GPUs
• Ziele
• Erforschung und Entwicklung von Open Source Technologien für historische Kulturdaten
• Durchsuchbarkeit (Texte und Bilder) sowie Erschließung und Strukturierung der Inhalte
• Bereitstellung als offene und maschinenlesbare Daten (“Collections as Data”)
• Ethisch, rechtlich, sozial verantwortungsvoller Umgang mit problematischen Inhalten und KI

CC-BY-SA Scott Lynch via Flickr

Datenanalyse und Statistik

• Extraktion und Aufbereitung von diversen Metadaten (METS, MODS, ALTO) für maschinelles Lernen und statistische Analysen mit Python Pandas �https://github.com/qurator-spk/mods4pandas
• Datasette Instanz ermöglicht die dynamische Zusammenstellung von Korpora/Datensets basierend auf der Kombination verschiedener Metadaten

Bildoptimierung und Binarisierung

• A hybrid CNN-Transformer model for Historical Document Image Binarization, 2023. https://doi.org/10.1145/3604951.3605508 | https://github.com/qurator-spk/sbb_binarization

Layout- und Strukturanalyse

• Document Layout Analysis with Deep Learning and Heuristics, 2023. https://doi.org/10.1145/3604951.3605513 | https://github.com/qurator-spk/eynollah

Bildähnlichkeitssuche und Text-Bild-Suche

• Gauging the Limitations of Natural Language Supervised Text-Image Metrics Learning by Iconclass Visual Concepts, 2023. �https://doi.org/10.1145/3604951.3605516 | https://github.com/qurator-spk/sbb_images

Texterkennung (OCR)

• OCR-D: An end-to-end open source OCR framework for historical printed documents, 2019. �https://doi.org/10.1145/3322905.3322917| https://github.com/OCR-D/core

Ministerpräsident Hcrri 0 t hat

Die Feierlichkeiten zur UcbcrfUhrung

geilern morgen de» Vorsitzenden

der Autzlanü-Komniission, Cenator

dl M 0 II z i e, empfangen.

Die Botschafterkonferenz

bat gestern morgen eine Citzung ab,

gehalten, in der sie sich mit laufen-

ten Angelegenheiten beschäftigte.

Die Handelskammer von Bordeaux

bat defchloffen, zu der neuen franzö_ sischen Inlandsanleihe 1 Million

Francs zu zeichne».

Aus Genf sind in Sofia zwei Dele-

gierte der Bälkerdundskommifsion zur

Prüfung der Frage der Massen,

auswanderung der bul.

garifchen Bevölkerung aus

Thrazien und Mazedonien

und der Ictzien Beschwerde der

bulgarischen Regierung an die zu

ständige Dölkerbundskommisston ein-

getroffen.

Miniſterpräſident Herriot hat

geſtern morgen den Vorſitzenden

der Rußland- Kommiſſion, Senator

de Monzie, empfangen.

Die Botſchafterkonferenz

hat geſtern morgen eine Sitzung ab–

gehalten, in der ſie ſich mit laufen-

den Angelegenheiten beſchäftigte.

Die Handelskammer von Bordeaux

hat beſchloſſen, zu der neuen franzö-

ſiſchen Jnlandsanleihe 1 Million

Francs zu zeichnen.

Aus Genf ſind in Sofia zwei Dele-

gierte der Völkerbundskommiſſion zur

Prüfung der Frage der Maſſen-

auswanderung der bul-

gariſchen Bevölkerung aus

Thrazien und Mazedonien

und der letzten Beſchwerde der

bulgariſchen Regierung an die zu–

ſtändige Völkerbundskommiſſion ein-

getroffen.

​

Named Entity Recognition, Entity Linking

• BERT for Named Entity Recognition in Contemporary and Historic German, 2019.�https://konvens.org/proceedings/2019/papers/KONVENS2019_paper_4.pdf | https://github.com/qurator-spk/sbb_ner | https://github.com/qurator-spk/sbb_ned

Miniſterpräſident Herriot [PER] hat

geſtern morgen den Vorſitzenden

der Rußland [LOC]- Kommiſſion, Senator

de Monzie [PER], empfangen.

Die Botſchafterkonferenz

hat geſtern morgen eine Sitzung ab–

gehalten, in der ſie ſich mit laufen-

den Angelegenheiten beſchäftigte.

Die Handelskammer von Bordeaux [LOC]

hat beſchloſſen, zu der neuen franzö-

?

Datenbereitstellung und Kuratierung

• Datasheets for Digital Cultural Heritage Datasets, 2023.�https://doi.org/10.5334/johd.124 | https://doi.org/10.5281/zenodo.8375034

Was ist überhaupt KI?

• Der Begriff “Künstliche Intelligenz“ wird als problematisch angesehen und sollte besser vermieden werden, da er einen Anthropomorphismus darstellt - als ob es sich hierbei �um eine dem Menschen vergleichbare Intelligenz handelt. Dies ist aber nicht der Fall.
• Besser wäre entweder allgemein von “maschinellem Lernen” bzw. „deep learning“ zu sprechen oder spezifischer von “stochastischen Vorhersagemodellen” (provokanter „stochastic parrots“, vgl. Bender et al. 2021)
• Grundsätzlich gilt: aus möglichst vielen, repräsentativen Ausgangsdaten (Beispielen) werden Wahrscheinlichkeitsmodelle trainiert, um diese dann auf weitere, neue Daten anwenden zu können.
• Die Qualität eines Modells (der “KI”) hängt also maßgeblich davon ab, wie umfangreich, qualitativ hochwertig und vielfältig die zum Training verwendeten Ausgangsdaten sind.
• Für die aktuellen KI-Modelle sind jedoch die Antworten auf viele relevante Fragen unbekannt:
• Welche Daten wurden zum Training verwendet und wo können diese eingesehen werden?
• Welche Qualitäts- und sonstigen Auswahlkriterien kamen dabei zur Anwendung?
• Welche Richtlinien wurden bei der Annotation von Daten zugrunde gelegt?
• Welche Kontaktmöglichkeiten gibt es um Probleme und Fehler zu melden?

Herausforderungen bei KI für das kulturelle Erbe

• Aufgrund von geltendem Urheberrecht werden vor allem historische Werke digitalisiert – aber diese enthalten historische Begriffe und Rechtschreibung, für die eine KI erst angepasst bzw. trainiert werden muss
• Digitalisate und Metadaten liegen nicht in der geeigneten Form und in den Formaten vor, wie sie für das Training von KI benötigt werden und müssen daher zunächst evaluiert, konvertiert und/oder (von Expert:innen) transkribiert und annotiert werden
• Kulturelle Kontexte (z.B. Zeit, Ort) müssen bei der Verwendung von Kulturerbe und KI Berücksichtigung finden
• Ethisch, sozial oder rechtlich problematische Inhalte (wie z.B. Kolonialismus, Nationalsozialismus oder die Unterrepräsentation von marginalisierten Gruppen) in den Daten müssen identifiziert und entsprechend vorsichtig behandelt und kontextualisiert werden
• Spezielle Hardware (GPUs) und Expertise (Einwerbung von Personal mit entsprechenden Kompetenzen) wird benötigt

Potentiale von Kulturerbe-Einrichtungen und KI

• Der Einsatz von KI bietet viele Möglichkeiten zur effizienten Erschließung, Analyse und Anreicherung von Digitalisaten sowie für neue Services für Nutzende und die Wissenschaft
• Durch die fortschreitende Massendigitalisierung verfügen Kulturerbe-Einrichtungen über große und stetig wachsende Mengen an (zumeist offenen) Daten für Training und Verbesserung von KI
• In den jeweiligen Fachbereichen in Kulturerbe-Einrichtungen gibt es große Expertise zu den Sammlungen und Inhalten, von denen eine KI lernen bzw. profitieren kann
• Grundsätzlich besteht ein (vor allem im Vergleich zu großen Tech-Unternehmen) hohes Qualitätsbewusstsein und Sensibilität bei der Erstellung, Pflege und Nutzung von Daten
• Als öffentliche Einrichtungen und Dienstleister für Forschung und Wissenschaft werden Transparenz, Datenschutz und Verantwortung im Umgang mit Daten und KI ernst genommen – auch über sehr lange Zeiträume

Danke für die Aufmerksamkeit!��Fragen?

Clemens Neudecker | Staatsbibliothek zu Berlin - Preußischer Kulturbesitz

No risk, no innovation? Künstliche Intelligenz in der Museumspraxis | 26. April 2024