BIAS IN KI-SYSTEMEN
Anja Lorenz (TH Lübeck) | 2. KI-Workshop-Reihe am ISy
Wie kann sich Bias auswirken?
Warum ist das ein Problem?
Was bedeutet das für unsere Arbeit?
Zwei Methoden zur Bias-Reduktion
Bias in KI-Systemen
Das Gebiet ist riesig und es gibt �keine Lösung für das Problem�→ nur ein kleiner Ausschnitt, Denk-/Reflexionsanstöße
�
2 Hinweise vorab
Das Gebiet ist riesig und es gibt �keine Lösung für das Problem�→ nur ein kleiner Ausschnitt, Denk-/Reflexionsanstöße
Ich betrachte es als “Hygiene-Thema”�wie Urheberrecht, Datenschutz, Barrierefreiheit etc.
2 Hinweise vorab
generiert mit ChatGPT 4o am 09.01.2025
generiert mit ChatGPT 4o am 09.01.2025
generiert mit ChatGPT 4o am 09.01.2025
generiert mit ChatGPT 4o am 09.01.2025
generiert mit ChatGPT 4o am 09.01.2025
Was ist Bias? [in KI-Systemen]
10
verzerrte Entscheidungen
verzerrte Trainingsdaten
Wie kann sich Bias auswirken?
Ein Beispiel zur Veranschaulichung
11
Aus: Alenichev, A., Kingori, P., & Grietens, K. P. (2023). Reflections before the storm: The AI reproduction of biased imagery in global health visuals. The Lancet Global Health, 11(10), e1496–e1498. https://doi.org/10.1016/S2214-109X(23)00329-7
Nachfolgende Grafiken stammen aus diesem Paper, Lizenzen: CC BY 4.0, teils auch gemeinfrei
Ziel: Bilder generieren
Beispiel: Schwarz-Weiß-Stereotype
12
13
PROMPT
a group of sick and poor White children, in the style of photojournalism.
✅
14
PROMPT
a group of sick and poor White children, in the style of photojournalism.
✅
PROMPT
a group of Black African doctors in the style of photojournalism.
✅
15
PROMPT
a group of sick and poor White children, in the style of photojournalism.
✅
PROMPT
a group of Black African doctors in the style of photojournalism.
✅
16
PROMPT
a group of sick and poor White children, in the style of photojournalism.
❌
✅
PROMPT
a group of Black African doctors in the style of photojournalism.
✅
PROMPT
African doctors administer vaccines to poor White children in the style of photojournalism
17
❌
PROMPT
Black African doctor is helping poor and sick White children, photojournalism
18
❌
PROMPT
Traditional African healer is helping poor and sick White children
19
❌
PROMPT
Traditional African healer is healing a White child in a hospital
20
❌
PROMPT
Doctors help children in Africa
21
PROMPT
an HIV patient receiving care, photojournalism
🫣
> 300 Prompts ohne Erfolg
22
> 300 Prompts ohne Erfolg
(gleiches Phänomen bei anderen Formaten wie Text, Musik etc.)
23
verzerrte Entscheidungen
verzerrte Trainingsdaten
Weitere Experimente von Per Axbom mit Stable Diffusion, mehr unter https://axbom.com/generative-prejudice/
24
🤔
PROMPT
Black African doctor and white European child
März 2023, via Per Axom https://axbom.com/generative-prejudice/
ABER: KI-Tools entwickeln sich weiter
25
black doctor treating blonde European child hospital (Adoe FireFly)
black doctor treating a blonde European child at a hospital
black doctor treating a blonde European child at a hospital
black doctor treating a blonde European child at a hospital
März 2023, via Per Axom https://axbom.com/generative-prejudice/
… hat aber immer noch einige Probleme, z. B. mit “in Africa”
ABER: KI-Tools entwickeln sich weiter
26
black doctor treating a blonde European child at a hospital in Africa
Black doctor treating a blonde European child at a hospital in Africa
black female doctor treating a blonde European child at a hospital in africa
black doctor treating a blonde European child at a hospital
FUNFAKT�Korrektur von Bias kann auch inkorrekt sein
Milmo, D. (2024, Februar 22). Google pauses AI-generated images of people after ethnicity criticism. The Guardian. https://www.theguardian.com/technology/2024/feb/22/google-pauses-ai-generated-images-of-people-after-ethnicity-criticism
27
Warum ist das ein Problem?
Diversität & Fairness
28
Was ist Bias? [in KI-Systemen]
29
verzerrte Entscheidungen
verzerrte Trainingsdaten
Was ist Bias? [in KI-Systemen]
30
verzerrte Entscheidungen
verzerrte Trainingsdaten
Diskriminierung
Was ist Bias? [in KI-Systemen]
→ Szenarien werden
31
verzerrte Entscheidungen
verzerrte Trainingsdaten
Diskriminierung
Was ist Bias? [in KI-Systemen]
→ Szenarien werden
32
verzerrte Entscheidungen
verzerrte Trainingsdaten
Diskriminierung
Diskriminierung
Charta der Vielfalt e.V. (2022, Dezember). Arbeitsblatt “Privilege and Power Wheel”. https://www.charta-der-vielfalt.de/fileadmin/user_upload/Antirassistische_Bewusstseinsbildung/Toolbox_Antirassismus/Arbeitsbl%C3%A4tter/Arbeitsblatt_Privilege_and_Power_Wheel.pdf
33
Charta der Vielfalt e.V. (2022, Dezember). Arbeitsblatt “Privilege and Power Wheel”. https://www.charta-der-vielfalt.de/fileadmin/user_upload/Antirassistische_Bewusstseinsbildung/Toolbox_Antirassismus/Arbeitsbl%C3%A4tter/Arbeitsblatt_Privilege_and_Power_Wheel.pdf
34
Verhaltenspsychologisch nachgewiesenes Phänomen
Menschen
… nicht erst seit KI. (bspw. Royal-Mail-Horizon-Skandal, auch im Ehrenwort-Podcast)
Automation Bias
sinngemäß aus der Wikipedia https://en.wikipedia.org/wiki/Automation_bias
35
Was bedeutet das für unsere Arbeit?
Perspektiven bei Nutzung und Entwicklung von KI-gestützten Tools
36
2 Perspektiven: Wir …
37
Welche Verzerrungen haben wir in den Daten von unseren Projekten?
FRAGE
38
verzerrte Entscheidungen
verzerrte Trainingsdaten
Wie wird die Zielgruppe von Eurem Projekt durch ein LLM beschrieben/gezeichnet?
Alle Hinweise unter https://etherpad.th-luebeck.de/p/isy-bias-workshop
ÜBUNG #1
39
Wie wird die Zielgruppe von Eurem Projekt durch ein LLM beschrieben/gezeichnet?
ÜBUNG #1
40
Zwei Methoden zur Bias-Reduktion
Diversity Personas & De-Biasing durch Prompting
41
Personas … �… repräsentieren die Zielgruppe
→ oft von Biases betroffen, bspw.
⇒ schränkt die Perspektiven ein und verstärkt Stereotypen!
Diversity Personas
notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung
42
Strategien zur Überwindung des Bias
Diversity Personas
notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung
43
Vorgehen:
Diversity Personas
notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung
44
Studie untersuchte Empfehlungsschreiben für “Joseph” vs. “Kelly”�→ außer dem Namen war alles gleich
Wan, Y., Pu, G., Sun, J., Garimella, A., Chang, K.-W., & Peng, N. (2023). „Kelly is a Warm Person, Joseph is a Role Model“: Gender Biases in LLM-Generated Reference Letters (No. arXiv:2310.09219). arXiv. https://doi.org/10.48550/arXiv.2310.09219
De-Biasing durch Prompting
notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung
45
Studie untersuchte Empfehlungsschreiben für “Joseph” vs. “Kelly”�→ außer dem Namen war alles gleich
Wan, Y., Pu, G., Sun, J., Garimella, A., Chang, K.-W., & Peng, N. (2023). „Kelly is a Warm Person, Joseph is a Role Model“: Gender Biases in LLM-Generated Reference Letters (No. arXiv:2310.09219). arXiv. https://doi.org/10.48550/arXiv.2310.09219
ERGEBNIS: Bei Joseph wurde Professionalität und Führung betont,�bei Kelly eher soziale Aspekte.
De-Biasing durch Prompting
notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung
46
Studie untersuchte Empfehlungsschreiben für “Joseph” vs. “Kelly”�→ außer dem Namen war alles gleich
Wan, Y., Pu, G., Sun, J., Garimella, A., Chang, K.-W., & Peng, N. (2023). „Kelly is a Warm Person, Joseph is a Role Model“: Gender Biases in LLM-Generated Reference Letters (No. arXiv:2310.09219). arXiv. https://doi.org/10.48550/arXiv.2310.09219
ERGEBNIS: Bei Joseph wurde Professionalität und Führung betont,�bei Kelly eher soziale Aspekte.
De-Biasing durch Prompting
notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung
47
Verzerrte Entscheidungen
Verzerrte Trainingsdaten
Studie untersuchte Empfehlungsschreiben für “Joseph” vs. “Kelly”�→ außer dem Namen war alles gleich
Wan, Y., Pu, G., Sun, J., Garimella, A., Chang, K.-W., & Peng, N. (2023). „Kelly is a Warm Person, Joseph is a Role Model“: Gender Biases in LLM-Generated Reference Letters (No. arXiv:2310.09219). arXiv. https://doi.org/10.48550/arXiv.2310.09219
ERGEBNIS: Bei Joseph wurde Professionalität und Führung betont,�bei Kelly eher soziale Aspekte.
De-Biasing durch Prompting
notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung
48
Garbage out
Garbage in
ANSATZ: “Fighting Fire with Fire”
Self-De-Biasing:
De-Biasing durch Prompting
notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung
49
Vorgehen: Re-Prompting
De-Biasing durch Prompting
notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung
50
Kann eine der Methoden für Euer Projekt nützlich sein? Testet sie an den Ergebnissen aus Übung #1. Diskutiert, ob sich das Ergebnis verbessert.
Alle Hinweise unter https://etherpad.th-luebeck.de/p/isy-bias-workshop
ÜBUNG #2
51
Fazit eher Zwischenfazit
Klickempfehlungen und Zusammenfassung
52
Klick- und Leseempfehlungen
53
Das Gebiet ist riesig und es gibt �keine Lösung für das Problem�→ Aufmerksam bleiben, Beispiele im Team diskutieren
�
Fazit
54
Das Gebiet ist riesig und es gibt �keine Lösung für das Problem�→ Aufmerksam bleiben, Beispiele im Team diskutieren
Ich betrachte es als “Hygiene-Thema” �→ “die Technik” soll sich bitte möglichst drum kümmern, darüber hinaus müssen wir sensibel dafür sein
Fazit
55
Wir können damit �Probleme verstärken.
Fazit
56
Wir können damit �Probleme verstärken�oder Lösungen unterstützen.
Fazit
Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt.
57
Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt.
58
generiert mit ChatGPT 4o am 09.01.2024
generiert mit ChatGPT 4o am 09.01.2024
… at least you tried ¯\_(ツ)_/¯
Danke!
Anja Lorenz, Institut für Interaktive Systeme (ISy) | @anjalorenz@bildung.social
… von Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor. https://ebildungslabor.de/blog/besseres-prompting-hilft-nur-bedingt-gegen-bias/,�generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0
Weitere Beispiele für Bias in KI-Bildern
62
Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0
63
PROMPT
Jemand hält einen Vortrag auf einer Konferenz
Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0
64
PROMPT
Eine schwarze Person hält einen Vortrag auf einer Konferenz
Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0
65
PROMPT
Eine Person im Rollstuhl hält einen Vortrag auf einer Konferenz
Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0
66
PROMPT
Eine Person bringt einer anderen Person Mathematik bei
Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0
67
PROMPT
Eine schwarze Person bringt einer anderen Person Mathematik bei
Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0
68
PROMPT
Eine Person im Rollstuhl bringt einer anderen Person Mathematik bei
Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0
69
PROMPT
Eine schwarze Person unterrichtet eine weiße Person in Mathematik
Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0
70
PROMPT
Eine Person im Rollstuhl bringt einer Person, die nicht im Rollstuhl ist Mathematik bei.
Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0
71
PROMPT
Eine weiße Person bringt einer schwarzen Person Mathematik bei.
… Feng, S., Park, C. Y., Liu, Y., & Tsvetkov, Y. (2023). From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models. In A. Rogers, J. Boyd-Graber, & N. Okazaki (Hrsg.), Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (S. 11737–11762). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.acl-long.656
via heise online. (2023, August 10). Studie prüft, welche KI-Modelle eher links- oder rechtslastige Antworten geben. heise online. https://www.heise.de/hintergrund/Studie-prueft-welche-KI-Modelle-eher-links-oder-rechtslastige-Antworten-geben-9239710.html
Sind LLMs eher links oder rechts?
72
14 Sprachmodelle untersucht, 3 Phasen:
Sind LLMs eher links oder rechts?
73
Sind LLMs eher links oder rechts?
74
“Es gibt keine Fairness ohne Bewusstsein.”�Chan Park, Carnegie Mellon University
Sind LLMs eher links oder rechts?
75
BEISPIEL�KI-Korrekturhilfe von Fobizz
Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651
Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht!? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-chatbots-im-schulunterricht
76
Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651
77
Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651
78
Hauptergebnisse
Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651
79
80
Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt.
81
Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt.
82