NICHT NUR EINE FRAGE DER TECHNIK�KI, Gender & Bias

Slides: https://kurzlinks.de/profme-bias

Anja Lorenz & Anna Lena Möller (DLC) | Prof:Me, 10.12.2025

Das sind wir

2

​

​

​

​

Connect on Linked.In

Der Digital Learning Campus

3

UMFRAGE 1

4

UMFRAGE 2

5

Ein Empfehlungsschreiben für Max und Mia

• Du möchtest für eine Kollegin und einen Kollegen ein Empfehlungsschreiben verfassen. Dafür nutzt du ein generatives KI-Tool das dir den Text auf Grundlage eines Promptes vorformuliert.
• Macht es einen Unterschied, ob du einen männlichen oder einen weiblichen Vornamen verwendest?

​

Gedankenexperiment

Wan, Y., Pu, G., Sun, J., Garimella, A., Chang, K.-W., & Peng, N. (2023). "Kelly is a warm person, Joseph is a role model": Gender biases in LLM-generated reference letters. arXiv preprint arXiv:2310.09219. https://arxiv.org/abs/2310.09219

6

Eine Studie der Stanford University zeigt: Wenn der Prompt derselbe ist und sich nur der Name unterscheidet, ...

• Enthalten Empfehlungsschreiben für männliche Namen Worte wie: produktiv, zuverlässig, motiviert, Experte oder Talent.
• Enthalten Empfehlungsschreiben für weibliche Namen Worte wie: emotional, makellos, rücksichtsvoll, beliebt oder warmherzig.

FALLBEISPIEL�Amazon Recruitung

Quelle: https://www.heise.de/news/�Amazon-KI-zur-Bewerbungspruefung-benachteiligte-Frauen-4189356.html

• Bewerbungen automatisiert gefiltert
• Grundlage: erfolgreiche Bewerbungen der Vergangenheit (überwiegend Männer)

Weitere Beispiele:

• Bewertung der Rückfallgefahr von Straftäter:innen benachteiligt Afroamerikaner:innen (Link).
• Arbeitsmarktservice Österreich benachteiligt Frauen bei der Kategorisierung von Jobsuchenden bzgl. Erfolgschancen von Förderungen und Weiterbildungen (Link).
• Chatbot zur Berufsorientierung (ebenfalls AMS Österreich) empfiehlt stereotype Berufe (Link).

7

• Input: Was ist Bias und wie kann sich das auswirken
• Erste Experimentierphase
• Input: Warum ist das ein Problem (Automation Bias)
• Input: Methoden zur Bias-Reduktion �Diversity Personas & De-Biasing durch Promting
• Zweite Experimentierphase
• Round-up

Das machen wir heute

Was ist Bias? [in KI-Systemen]

9

• … in der Psychologie: Verzerrungen in der menschlichen Wahrnehmung und Objektivität
• … in der Statistik: Verzerrungen in der Datensammlung und Datenauswertung

​

→ Bias in Technologien entsteht, weil diese menschlichen Input in Form von Daten benötigen. Da diese Daten nicht Bias-frei sind, übernehmen KI-Modelle diese Bias.

Es ist ein Trugschluss des Alltags, dass algorithmische Entscheidungen („Ich google das mal schnell“) neutraler und objektiver sind, nur weil sie nach einem bestimmten Muster verarbeitet werden.

​

Lese-Tipp: Jillian C. York „Künstliche Intelligenz ist nicht neutral“ https://www.goethe.de/prj/zei/de/art/22842955.html (11.08.2025)

Was ist Bias? [in KI-Systemen]

10

Wie kann sich Bias auswirken?

Ein Beispiel zur Veranschaulichung

11

Aus: Alenichev, A., Kingori, P., & Grietens, K. P. (2023). Reflections before the storm: The AI reproduction of biased imagery in global health visuals. The Lancet Global Health, 11(10), e1496–e1498. https://doi.org/10.1016/S2214-109X(23)00329-7

Nachfolgende Grafiken stammen aus diesem Paper, Lizenzen: CC BY 4.0, teils auch gemeinfrei

​

Ziel: Bilder generieren

• Schwarzafrikanische Ärzt*innen oder traditionelle Heiler*innen
• bieten kranken, Weißen und leidenden Kindern Medizin, Impfstoffe oder Pflege an
• Mai 2023, Midjouney v5.1

Beispiel: Schwarz-Weiß-Stereotype

12

13

PROMPT

a group of sick and poor White children, in the style of photojournalism.

✅

14

PROMPT

a group of sick and poor White children, in the style of photojournalism.

✅

PROMPT

a group of Black African doctors in the style of photojournalism.

✅

15

PROMPT

a group of sick and poor White children, in the style of photojournalism.

✅

PROMPT

a group of Black African doctors in the style of photojournalism.

✅

16

PROMPT

a group of sick and poor White children, in the style of photojournalism.

❌

✅

PROMPT

a group of Black African doctors in the style of photojournalism.

✅

PROMPT

African doctors administer vaccines to poor White children in the style of photojournalism

17

❌

PROMPT

Black African doctor is helping poor and sick White children, photojournalism

18

❌

PROMPT

Traditional African healer is helping poor and sick White children

19

❌

PROMPT

Traditional African healer is healing a White child in a hospital

20

❌

PROMPT

Doctors help children in Africa

21

PROMPT

an HIV patient receiving care, photojournalism

🫣

> 300 Prompts ohne Erfolg

22

> 300 Prompts ohne Erfolg

(gleiches Phänomen bei anderen Formaten wie Text, Musik etc.)

23

Weitere Experimente von Per Axbom mit Stable Diffusion, mehr unter https://axbom.com/generative-prejudice/

24

🤔

PROMPT

Black African doctor and white European child

März 2023, via Per Axom https://axbom.com/generative-prejudice/

ABER: KI-Tools entwickeln sich weiter

25

black doctor treating blonde European child hospital (Adoe FireFly)

black doctor treating a blonde European child at a hospital

black doctor treating a blonde European child at a hospital

black doctor treating a blonde European child at a hospital

März 2023, via Per Axom https://axbom.com/generative-prejudice/

​

… hat aber immer noch einige Probleme, z. B. mit “in Africa”

ABER: KI-Tools entwickeln sich weiter

26

black doctor treating a blonde European child at a hospital in Africa

Black doctor treating a blonde European child at a hospital in Africa

black female doctor treating a blonde European child at a hospital in africa

black doctor treating a blonde European child at a hospital

FUNFAKT�Korrektur von Bias kann auch inkorrekt sein

Milmo, D. (2024, Februar 22). Google pauses AI-generated images of people after ethnicity criticism. The Guardian. https://www.theguardian.com/technology/2024/feb/22/google-pauses-ai-generated-images-of-people-after-ethnicity-criticism

27

Probiert Euch aus!

​

Vorschlag: Wie wird Eure Zielgruppe (Lehre, Projekt, …) durch ein LLM beschrieben/gezeichnet?

1. Formuliert eine kurze Beschreibung einer Zielgruppe
2. Nutzt ein LLM, um die Frage zu beantworten, an wen sich das Projekt richtet. Variiert mit den Fragen.
3. Lasst ein Bild von Menschen generieren, die mit den Plattformen/Lernangeboten/Ergebnissen Eures Projekts interagieren.

​

Alle Hinweise unter https://etherpad.th-luebeck.de/p/isy-bias-workshop

Übung #1

28

Warum ist das ein Problem?

Diversität & Fairness

29

BIAS ENTSTEHT IN ALLEN PHASEN MASCHINELLEN LERNENS

30

Daten für den Algorithmus

​

sociatal & historic bias

Daten-Stichprobe

​

representation bias

Datensatz

​

omitted variable bias

Trainingsdaten &

Testdaten

WEIRD – samples

(western, educated, industrialized, rich and democratic)

Modell

​

algorithmic bias

Modell-Output &

Nutzungserfahrung

​

user interaction bias

Feedback-Loop zwischen Daten, Algorithmen und Nutzenden

Erzeugung von Daten

Verhaltenspsychologisch nachgewiesenes Phänomen

​

Menschen

• vertrauen Vorschlägen und Entscheidungen von Maschinen übermäßig
• neigen dazu, Weg des geringsten kognitiven Aufwands einzuschlagen
• geben der “Automatisierung” tendenziell den Vorzug

​

… nicht erst seit KI. (bspw. Royal-Mail-Horizon-Skandal, auch im Ehrenwort-Podcast)

Automation Bias

sinngemäß aus der Wikipedia https://en.wikipedia.org/wiki/Automation_bias

31

Zwei Methoden zur Bias-Reduktion

Diversity Personas & De-Biasing durch Prompting

32

Personas … �… repräsentieren die Zielgruppe

​

→ oft von Biases betroffen, bspw.

• bei Frauen wird beschrieben, ob sie Kinder haben oder nicht,
• bei Männern werden Kinder nicht erwähnt
• Männer spielen Fußball – Frauen nicht

​

⇒ schränkt die Perspektiven ein und verstärkt Stereotypen!

Diversity Personas

notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung

33

Strategien zur Überwindung des Bias

1. vielfältige Datenquellen nutzen
2. mit diversem Team erarbeiten

​

• Gezielte Darstellung von Diversität bei Personas
• breite Palette an Nutzendenperspektiven
• bspw. Gender Swapping: anderes Geschlecht annehmen
• UND: meist profitieren auch andere Nutzendengruppen davon!

Diversity Personas

notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung

34

Vorgehen:

1. vielfältige Daten sammeln
2. intersektionale Faktoren berücksichtigen (Überschneidungen und gegenseitige Beeinflussung)
3. Persona-Profile erstellen
• authentische Charaktere erschaffen
• gezielt unübliche Kombinationen → Stereotypen vermeiden
4. Personas evaluieren

Diversity Personas

notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung

35

im DLC

​

Bachelorarbeit von Britta Leonhard

https://personas-17302.projects.mylab.th-luebeck.dev/

Diversity Personas

36

ANSATZ: “Fighting Fire with Fire”

​

Self-De-Biasing (kurz zusammengefasst)

• LLM kann eigene Biases beschreiben
• anschließend Ergebnisse ohne diese Biases generieren

De-Biasing durch Re-Prompting

notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung

37

De-Biasing durch Re-Prompting

Adaptiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung

38

Schritt 1: Zero-Shot

​

• Rollenzuweisung
• Aufgaben-Beschreibung

Du bist …

Tue das …

Gerne …

De-Biasing durch Re-Prompting

notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung

39

Schritt 2: Re-Prompting

(Chain-of-Thought)

​

• Selbstüberprüfung der generierten Antwort mittels eines Prompts der zum Ziel hat stereotype Aussagen im Text zu identifizieren.

Nun finde Stereotype …

Gerne …

De-Biasing durch Re-Prompting

notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung

40

Schritt 3: Re-Prompting

(Chain-of-Thought)

​

• Vorschläge zum Umformulieren geben lassen

Schlage Änderungen vor!

Gerne …

De-Biasing durch Re-Prompting

notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung

41

Schritt 4: Re-Prompting

(Chain-of-Thought)

​

• Vorschläge übernehmen lassen

Formuliere neu!

Gerne …

ggf. weitere Iterationen

Kann eine der Methoden für Euer Projekt nützlich sein? Testet sie an den Ergebnissen aus Übung 1. Diskutiert, ob sich das Ergebnis verbessert.

​

Alle Hinweise unter https://etherpad.th-luebeck.de/p/isy-bias-workshop

ÜBUNG #2

42

Fazit eher Zwischenfazit

Klickempfehlungen und Zusammenfassung

43

Der Digital Learning Campus

44

• KI-Campus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung
• Instituts für Business Analytics der Universität Ulm: Umfassender Kurs zu Bias & Fairness algorithmischer Entscheidungssysteme https://bias-and-fairness-in-ai-systems.de/
• Lorenz, Anja (2025): Bias in KI-Systemen. KI-Workshopreihe am ISy, 15.01.2025. https://lernen.dlc.sh/course/section.php?id=2314
• Marsden, N., Raudonat, K., & Pröbster, M. (2023). Kreislauf der Diskriminierung. Frauen machen Informatik. Magazin der GI-Fachgruppe Frauen in der Informatik, 47(September). https://dl.gi.de/handle/20.500.12116/42520
• Aktion Mensch & Hochschule Bielefeld: ABLE – Chatbot-Evaluator https://www.aktion-mensch.de/inklusion/barrierefreiheit/kuenstliche-intelligenz-und-inklusion/faire-ki-chatbots und https://github.com/aktionmensch/ABLE

Klick- und Leseempfehlungen

45

Das Gebiet ist riesig und es gibt �keine Lösung für das Problem�→ Aufmerksam bleiben, Beispiele im Team diskutieren

Fazit

46

Das Gebiet ist riesig und es gibt �keine Lösung für das Problem�→ Aufmerksam bleiben, Beispiele im Team diskutieren

Wir betrachten es als “Hygiene-Thema” �→ “die Technik” soll sich bitte möglichst drum kümmern, darüber hinaus müssen wir sensibel dafür sein

​

Fazit

47

Wir können damit �Probleme verstärken.

​

Fazit

48

Wir können damit �Probleme verstärken�oder Lösungen unterstützen.

​

Fazit

Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt.

49

Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt.

50

Danke!

Anja Lorenz, Institut für Interaktive Systeme (ISy) | @anjalorenz@bildung.social

Anna Lena Möller, Institut für Interaktive Systeme (ISy) | annalena@lernraumdrei.de

Slides: https://kurzlinks.de/profme-bias

… von Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor. https://ebildungslabor.de/blog/besseres-prompting-hilft-nur-bedingt-gegen-bias/,�generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0

Weitere Beispiele für Bias in KI-Bildern

52

Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0

53

PROMPT

Jemand hält einen Vortrag auf einer Konferenz

Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0

54

PROMPT

Eine schwarze Person hält einen Vortrag auf einer Konferenz

Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0

55

PROMPT

Eine Person im Rollstuhl hält einen Vortrag auf einer Konferenz

Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0

56

PROMPT

Eine Person bringt einer anderen Person Mathematik bei

Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0

57

PROMPT

Eine schwarze Person bringt einer anderen Person Mathematik bei

Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0

58

PROMPT

Eine Person im Rollstuhl bringt einer anderen Person Mathematik bei

Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0

59

PROMPT

Eine schwarze Person unterrichtet eine weiße Person in Mathematik

Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0

60

PROMPT

Eine Person im Rollstuhl bringt einer Person, die nicht im Rollstuhl ist Mathematik bei.

Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0

61

PROMPT

Eine weiße Person bringt einer schwarzen Person Mathematik bei.

… Feng, S., Park, C. Y., Liu, Y., & Tsvetkov, Y. (2023). From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models. In A. Rogers, J. Boyd-Graber, & N. Okazaki (Hrsg.), Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (S. 11737–11762). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.acl-long.656

​

via heise online. (2023, August 10). Studie prüft, welche KI-Modelle eher links- oder rechtslastige Antworten geben. heise online. https://www.heise.de/hintergrund/Studie-prueft-welche-KI-Modelle-eher-links-oder-rechtslastige-Antworten-geben-9239710.html

Sind LLMs eher links oder rechts?

62

14 Sprachmodelle untersucht, 3 Phasen:

1. 62 politische Aussagen: stimmen sie eher zu oder nicht?�→ sehr unterschiedliche Ergebnisse (siehe nächste Folie)
2. Mit links- und rechtslastigen Aussagen trainiert�→ linkslastige Modelle wurden noch linkslastiger, rechtslastige noch rechtslastiger
3. Einstufung von Aussagen als Hassrede oder Fehlinformation�→ auch hier sehr unterschiedlich

Sind LLMs eher links oder rechts?

63

Sind LLMs eher links oder rechts?

64

• Bereinigung der Daten oft nicht ausreichend
• geringfügige Verzerrungen können immer vorhanden sein

​

“Es gibt keine Fairness ohne Bewusstsein.”�Chan Park, Carnegie Mellon University

Sind LLMs eher links oder rechts?

65

BEISPIEL�KI-Korrekturhilfe von Fobizz

Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651

Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht!? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-chatbots-im-schulunterricht

66

Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651

67

Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651

68

1. “Zufallsbedingte Volatilität von Bewertungen und Feedback: […]
2. Unzuverlässige Erkennung von sachlichen Fehlern und Nonsense-Abgaben: […].
3. Inkonsistente Umsetzung von Bewertungskriterien: […] Inkonsistentes Feedback: […]
4. Umsetzung des Feedbacks führt nicht zu Verbesserungen: […]
5. Bestnote nur durch ChatGPT möglich (Täuschung): […]

Hauptergebnisse

Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651

69

Quelle: https://bias-and-fairness-in-ai-systems.de/grundlagen/#1111

70

Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt.

71

Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt.

72

generiert mit ChatGPT 4o am 09.01.2025

generiert mit ChatGPT 4o am 09.01.2025

generiert mit ChatGPT 4o am 09.01.2025

generiert mit ChatGPT 4o am 09.01.2025

generiert mit ChatGPT 4o am 09.01.2025

Was ist Bias? [in KI-Systemen]

78

Was ist Bias? [in KI-Systemen]

79

Diskriminierung

• bevorzugt,
• benachteiligt oder sogar
• ausgeschlossen.

Was ist Bias? [in KI-Systemen]

→ Szenarien werden

80

Diskriminierung

• bevorzugt,
• benachteiligt oder sogar
• ausgeschlossen.

Was ist Bias? [in KI-Systemen]

→ Szenarien werden

81

Diskriminierung

Diskriminierung

Charta der Vielfalt e.V. (2022, Dezember). Arbeitsblatt “Privilege and Power Wheel”. https://www.charta-der-vielfalt.de/fileadmin/user_upload/Antirassistische_Bewusstseinsbildung/Toolbox_Antirassismus/Arbeitsbl%C3%A4tter/Arbeitsblatt_Privilege_and_Power_Wheel.pdf

82

Charta der Vielfalt e.V. (2022, Dezember). Arbeitsblatt “Privilege and Power Wheel”. https://www.charta-der-vielfalt.de/fileadmin/user_upload/Antirassistische_Bewusstseinsbildung/Toolbox_Antirassismus/Arbeitsbl%C3%A4tter/Arbeitsblatt_Privilege_and_Power_Wheel.pdf

83

generiert mit ChatGPT 4o am 09.01.2024

generiert mit ChatGPT 4o am 09.01.2024

… at least you tried ¯\_(ツ)_/¯