1 of 15

Clemens Neudecker, Staatsbibliothek zu Berlin

3rd Conference on Digital Curation Technologies

19-23 September 2022, Berlin, Germany

#QURATOR2022

Digitale Kuratierungs-�technologien �und Künstliche Intelligenz in Bibliotheken

2 of 15

Staatsbibliothek zu Berlin - Preußischer Kulturbesitz (SBB)

  • Gegründet 1661
  • Bibliothek in zwei Häusern
  • 7 Tage die Woche für die Benutzung geöffnet
  • > 25 Mio. Medieneinheiten
  • > 2.5 PetaByte digitale Daten
  • KI-Server mit 2x V100 + 2x A100 (128 GB VRAM)
  • Teil der Stiftung Preußischer Kulturbesitz
  • https://staatsbibliothek-berlin.de/

​

  • In-house Digitalisierungszentrum seit 2007
  • Digitalisierte Sammlungen bieten Zugang zu�> 200,000 digitalisierten Dokumenten
  • https://digital.staatsbibliothek-berlin.de/

3 of 15

Künstliche Intelligenz @ Staatsbibliothek zu Berlin

  • Qurator.ai: The platform for intelligent content solutions (BMBF, 2019-2022)

​

4 of 15

Herausforderung: Digitalisierung historischer Dokumente

5 of 15

Digitale Kuratierungstechnologien

  • Digitalisierte (historische) Dokumente sollen mindestens genau so gut digital nutzbar sein wie born-digital Dokumente
    • Durchsuchbarkeit (Texte und Bilder)
    • Strukturierung der Inhalte
    • Maschinenlesbar

​

  • Entwicklung von KI-gestützten Verfahren für
    • Bildvorverarbeitung
    • Layouterkennung
    • Texterkennung (OCR) mit Nachkorrektur
    • Bildähnlichkeitssuche
    • Named Entity Recognition
    • Named Entity Linking

© Scott Lynch/ Flickr - CC BY-SA 2.0

6 of 15

Bildvorverarbeitung

  • Durch Skalierung, Geraderücken (Deskewing), Ausschneiden (Cropping) und Binarisierung werden die Scans der Dokumente für die folgenden Verarbeitungsschritte optimiert

​

​

​

​

​

​

​

​

​

7 of 15

Layoutanalyse

  • Bei der Layoutanalyse müssen unterschiedliche Segmente und Inhalte der Seite erkannt und strukturiert werden, zudem wird die Reihenfolge (Reading Order) der Segmente detektiert

​

​

​

​

​

​

​

​

​

  • https://github.com/qurator-spk/eynollah (pixelweise Segmentierung ResNet-U-Net + Transformer)

8 of 15

Bildähnlichkeitssuche

  • Da im Zuge der Layoutanalyse auch Bildinhalte erkannt und segmentiert werden, können diese für eine Suche nach ähnlichen Bildern in den Digitalisierten Sammlungen herangezogen werden

​

​

​

​

​

​

​

​

​

  • https://github.com/qurator-spk/sbb_images (Inception + YOLO + Approximate Nearest Neighbour)

9 of 15

Texterkennung

  • In Kollaboration mit dem DFG-Projekt OCR-D wurden OCR Methoden und Modelle für historische Drucke und Fraktur optimiert und die Fehlerrate der OCR um ~90% reduziert

​

​

​

​

​

​

​

​

​

​

​

Ministerpräsident Hcrri 0 t hat

Die Feierlichkeiten zur UcbcrfUhrung

geilern morgen de» Vorsitzenden

der Autzlanü-Komniission, Cenator

dl M 0 II z i e, empfangen.

Die Botschafterkonferenz

bat gestern morgen eine Citzung ab,

gehalten, in der sie sich mit laufen-

ten Angelegenheiten beschäftigte.

Die Handelskammer von Bordeaux

bat defchloffen, zu der neuen franzö_ sischen Inlandsanleihe 1 Million

Francs zu zeichne».

Aus Genf sind in Sofia zwei Dele-

gierte der Bälkerdundskommifsion zur

Prüfung der Frage der Massen,

auswanderung der bul.

garifchen Bevölkerung aus

Thrazien und Mazedonien

und der Ictzien Beschwerde der

bulgarischen Regierung an die zu

ständige Dölkerbundskommisston ein-

getroffen.

Miniſterpräſident Herriot hat

geſtern morgen den Vorſitzenden

der Rußland- Kommiſſion, Senator

de Monzie, empfangen.

Die Botſchafterkonferenz

hat geſtern morgen eine Sitzung ab–

gehalten, in der ſie ſich mit laufen-

den Angelegenheiten beſchäftigte.

Die Handelskammer von Bordeaux

hat beſchloſſen, zu der neuen franzö-

ſiſchen Jnlandsanleihe 1 Million

Francs zu zeichnen.

Aus Genf ſind in Sofia zwei Dele-

gierte der Völkerbundskommiſſion zur

Prüfung der Frage der Maſſen-

auswanderung der bul-

gariſchen Bevölkerung aus

Thrazien und Mazedonien

und der letzten Beſchwerde der

bulgariſchen Regierung an die zu–

ſtändige Völkerbundskommiſſion ein-

getroffen.

​

10 of 15

Named Entity Recognition

  • Dank guter OCR-Qualität ist nun auch die semantische Annotation und Strukturierung der Volltexte durch bspw. NER (Erkennung von Personen, Orten, Organisationen) möglich

​

​

​

​

​

​

​

​

​

​

  • https://github.com/qurator-spk/sbb_ner (BERT + unsupervised & supervised training)

Miniſterpräſident Herriot [PER] hat

geſtern morgen den Vorſitzenden

der Rußland [LOC]- Kommiſſion, Senator

de Monzie [PER], empfangen.

Die Botſchafterkonferenz

hat geſtern morgen eine Sitzung ab–

gehalten, in der ſie ſich mit laufen-

den Angelegenheiten beſchäftigte.

Die Handelskammer von Bordeaux [LOC]

hat beſchloſſen, zu der neuen franzö-

11 of 15

Named Entity Linking

  • Erkannte Entitäten können durch Kontext-basierte Disambiguierung mit einer Knowledge Base �(z.B. Wikidata) und weiteren Ressourcen (z.B. Geokoordinaten) verknüpft werden

​

​

​

​

​

​

​

​

​

  • https://github.com/qurator-spk/sbb_ned (BERT Embeddings + Knowledge Base + Random Forest)

Miniſterpräſident Herriot [PER] hat

geſtern morgen den Vorſitzenden

der Rußland [LOC]- Kommiſſion, Senator

de Monzie [PER], empfangen.

Die Botſchafterkonferenz

hat geſtern morgen eine Sitzung ab–

gehalten, in der ſie ſich mit laufen-

den Angelegenheiten beſchäftigte.

Die Handelskammer von Bordeaux [LOC]

hat beſchloſſen, zu der neuen franzö-

?

12 of 15

Produktivnahme und Betrieb

  • Verarbeitung der rund 200,000 Dokumente in den Digitalisierten Sammlungen mit den entwickelten Methoden für Layoutanalyse und OCR � → mehr Volltexte mit höherer Qualität, bessere Durchsuchbarkeit

​

  • Verarbeitung aller Volltexte mit NER und NEL sowie Verlinkung zu Wikidata

→ Orts- und Personensuche, Verknüpfung mit anderen digitalen Quellen � und Ressourcen in der SBB, SPK und darüber hinaus

​

  • Ausweitung der Bildähnlichkeitssuche und Schaffung von fachspezifischen Anwendungen

→ Erkennung und Suche für Druckermarken, Wasserzeichen, Buchstempel

​

  • Anwendungen und Datensets

→ Projekte und Kollaborationen im Bereich Digital Humanities und SBB LAB

13 of 15

Nächste Schritte @ Staatsbibliothek zu Berlin

  • Dank QURATOR konnten Erfahrungen zu KI in der SBB ausgebaut und ein Stack an �digitalen Kuratierungstechnologien aufgebaut werden
  • KI Kompetenzen sollen weiterentwickelt und mittelfristig als strategischer Schwerpunkt �in der SBB aufgebaut werden
  • Forschungs- und Entwicklungsarbeiten zu KI in der SBB können erfreulicherweise dank Förderung von BKM in einem neuen Projekt “Mensch.Maschine.Kultur” für weitere 3 �Jahre fortgesetzt und in insgesamt vier Teilprojekten weiter ausgebaut werden:
    • TP1: „Intelligente Verfahren für die generische Dokumentanalyse“ �entwickelt multimodale Verfahren für die Dokumentanalyse
    • TP2: „Bildanalyseinstrumente zur Erschließung des digitalen Kulturellen Erbes“ �vertieft die Arbeiten zur Bildähnlichkeitssuche
    • TP3: „KI-unterstützte Inhaltsanalyse und Sacherschließung“ �unterstützt Fachabteilungen mit semi-automatisierten Verfahren für Inhalts- und Sacherschließung
    • TP4: „Datenbereitstellung und Kuratierung für KI“ �bündelt und dokumentiert für KI geeignete digitale Kulturdaten und macht diese als Datensets zugänglich

​

14 of 15

Ethische, rechtliche und soziale Aspekte von KI in Bibliotheken

  • “In practice, data collection in significant ML subfields is done without following a rigorous procedure or set of guidelines” – Timnit Gebru, 2021

​

  • Daten, die für das Trainieren von KI Modellen verwendet werden haben leider zu häufig Qualitäts- und/oder ethische Probleme (siehe z.B. VGG-Face2 - exposing.ai)
  • Bibliotheken verfügen über viel Kuratierungserfahrung und Qualitätsstandards
  • Internationale Community zu KI und Kultur, z.B. �EuropeanaTech, AI4LAM, Cultural-AI, arbeitet an �Kuratierungsstandards für KI Daten und Modelle, die �ethische, soziale und rechtliche Aspekte berücksichtigen
  • In der SBB wird das Projekt “Mensch.Maschine.Kultur” �durch eine Ethical Foresight Analysis begleitet
  • Für weitere Details, besuchen Sie auch den �Scientific Workshop an diesem Freitag

15 of 15

Clemens Neudecker, Staatsbibliothek zu Berlin

3rd Conference on Digital Curation Technologies

19-23 September 2022, Berlin, Germany

#QURATOR2022

Vielen Dank �für die Aufmerksamkeit!��Fragen?