1 of 28

2 of 28

Pourquoi parle-t-on de discrimination en intelligence artificielle?

3 of 28

Comment la discrimination peut- elle s’immiscer dans les systèmes d’intelligence artificielle?

Quelles sont les conséquences de la discrimination causée par l’intelligence artificielle?

Comment peut-on lutter contre la discrimination en intelligence artificielle?

PROGRAMME

4 of 28

5 of 28

Les systèmes d’intelligence artificielle (IA) ont besoin de données pour apprendre à effectuer une tâche.

Ordinateur

Base de données - Pommes

Base de données - Cerises

Base de données - Raisins

Est-ce une pomme?

6 of 28

À première vue, le fonctionnement des systèmes d’IA peut sembler neutre et objectif.

Pourtant, comme l’IA est une invention humaine, il est fort probable qu’elle intègre les biais humains à son tour.

Au premier regard, le fonctionnement des systèmes d'intelligence artificielle peut sembler neutre et objectif. En effet, ceux-ci ne se basent que sur des données réelles et tous les processus d’apprentissage et de prédiction sont exécutés par un ordinateur.

Cependant, il faut garder en mémoire que des êtres humains sont impliqués à toutes les étapes de la conception de ces systèmes, que ce soit la création des données ou le choix des critères pour analyser la performance des systèmes.

Étant donné qu'il est peu probable que ces interventions humaines soient complètement objectives et dépourvues de préjugés et/ou de biais, les systèmes d'intelligence artificielle risquent d'incorporer ces distorsions à leur propre fonctionnement.

Conséquemment, les systèmes d'IA peuvent involontairement contribuer à l'émergence ou au maintien de formes de discrimination, malgré une apparence de neutralité technique.

7 of 28

Qu’est-ce qu’un biais ?

Antidote définit le biais comme:

Distorsion systématique d’un échantillon ou d’une évaluation statistique

8 of 28

Les biais peuvent se présenter sous différentes formes.

Biais dans les données disponibles Biais dans le choix des données

·

Biais dans le design du système d’IA

·

9 of 28

Les données disponibles peuvent refléter des biais d’origine humaine.

Si on utilise des données qui traduisent un contexte déjà discriminatoire pour entraîner un système d’IA, celui-ci apprendra alors à reproduire ces divers biais.

D’abord, il est important de noter que les biais humains peuvent être reflétés dans les données disponibles.

En effet, lorsqu’on veut entraîner un système d'IA, on doit le fournir en données pour qu’il apprenne de celles-ci. Comme toutes ces données sont préalablement créés par des êtres humains qui ont des biais, il serait surprenant que ces données n’expriment pas, elles aussi, ces mêmes biais.

Malgré tous les efforts pour permettre une égalité des chances pour tout le monde, il subsiste encore aujourd’hui diverses situations où des groupes de personnes sont l'objet de discrimination, et ce, même si cela ne découle pas nécessairement d'une intention délibérée.

Ainsi, si les données utilisées pour entraîner un système d’IA reflètent un contexte préexistant de discrimination, le système d'IA apprendra nécessairement à répliquer ces diverses tendances discriminatoires.

10 of 28

Par exemple, en 2018, Amazon a abandonné son système de sélection des CV parce qu’il préférait les candidatures d’hommes à celles de femmes.

Source: Radio-Canada (2023)

En 2018, il a été révélé qu'Amazon avait développé un algorithme de traitement automatique des candidatures pour trier les CV de candidats potentiels à des postes techniques. Le but était d'automatiser et de rendre plus objectif le processus de recrutement.

Cependant, il a été démontré que cet algorithme avait un biais de genre significatif. Au fil des années, les données historiques d'embauche d'Amazon avaient été marquées par une forte majorité d'hommes embauchés pour des postes techniques. Par conséquent, l'algorithme a appris à favoriser des mots-clés liés à des candidatures masculines tout en attribuant des scores plus faibles aux CV qui incluaient des termes associés aux femmes. Sans surprise, Amazon a choisi d’abandonner ce système de sélection de CV clairement inéquitable.

Comme cet exemple le montre, quand les données disponibles sont déjà biaisées, le système d’IA apprendra forcément à reproduire ces biais.

11 of 28

Les données choisies peuvent ne pas être bien représentatives de la réalité.

Sans que cela soit nécessairement fait de manière consciente, les données choisies peuvent faire un portrait différent de la réalité.

12 of 28

Par exemple, ce système de reconnaissance faciale n’est pas capable d’identifier les visages de personnes noires.

Source: Gender Shades (2018)

Le fait de ne pas avoir des données assez représentatives peut nuire à la performance du système et créer des formes de discrimination . Dans l’exemple qu’on voit à l’écran, la chercheuse Joy Buolamwini a testé un système de reconnaissance faciale sur 3 visages. La première image montre le visage d’une personne blanche que le système est capable d’identifier. Sur la deuxième image, on voit le visage de Joy Buolamwini qui n’est pas reconnu par le système. Ce n’est que lorsque cette dernière porte un masque blanc que son visage est reconnu, comme on peut le voir sur la troisième image.

Avec cette petite expérience, on peut voir que ce système de reconnaissance faciale semble seulement capable de repérer les visages de personnes blanches. Cette mauvaise performance pour les visages de personnes noires peut être expliquée par le fait que les données utilisées pour l’entraînement ne contenaient pas ou, du moins, pas assez d’exemples de visages de personnes noires. Pourtant, les images de personnes noires existent et sont tout à fait accessibles. Ainsi, l’équipe de développement semble seulement avoir oublié de tenir compte de la diversité des couleurs de peau.

Comme on le verra un peu plus tard, ce genre de discrimination peut avoir de graves conséquences

13 of 28

Le design du système d’IA peut lui aussi être biaisé.

Au-delà du choix des données, les personnes responsables peuvent inclure leur préjugés personnels de manière inconsciente dans différentes décisions de design d’un système d’IA.

14 of 28

Par exemple, la plupart des assistants vocaux, comme Siri et Alexa, ont

une voix féminine par défaut, ce qui témoigne d’une association entre féminité et serviablité.

Source: UNESCO (2020)

Par exemple, en 2020, l’UNESCO s’est intéressée aux assistants vocaux comme Siri et Alexa. Dans son rapport, l’organisation indique que le fait que la plupart de ces assistants vocaux proposent une voix féminine par défaut témoigne d’une association entre la féminité et la serviabilité. De plus, l’analyse suggère que les personnes qui travaillent à la conception de ces système, souvent des hommes, introduisent leurs propres préjugés, probablement de manière inconsciente, en ajustant la personnalité des assistants vocaux.

Entre autres, on note, qu’Alexa sait faire des blagues qui font souvent références à des objets culturels qui plaisent généralement davantage aux hommes, tels que Chuck Norris. On mentionne aussi que les assistants vocaux réagissent souvent avec une blague ou de manière positive aux commentaires qui s’apparentent pourtant à du harcèlement sexuel.

Le fait que ce type de comportements soit pratique courante contribuerait ainsi à renforcer, et ce, dès l’enfance, des stéréotypes de genre qui cantonnent la femme dans une posture d’obligeance et d’obéissance.

Si on n’a pas nécessairement répertorié de conséquences individuelles précises causées par ce choix de design, il n’en demeure pas moins que ce type de biais intégré aux systèmes basés sur l’IA participe à consolider certains préjugés sur le rôle des femmes à l’échelle de la société plus générale.

15 of 28

16 of 28

Les biais des systèmes d’IA peuvent avoir de graves conséquences, individuelles et sociales.

Les résultats discriminatoires des systèmes d’IA peuvent mener à des décisions injustes et non équitables, qui peuvent bouleverser la vie des individus affectés.

Bien évidemment, les individus comme la société de manière plus générale peuvent être grandement touchés par les différents biais qu’ont appris les systèmes d’IA.

En effet, les résultats discriminatoires des systèmes d'IA peuvent mener à des décisions injustes et inéquitables, qui peuvent bouleverser la vie des individus affectés

De plus, lorsqu’elles sont nombreuses, les erreurs qui sont causées par les biais des systèmes d’IA contribuent à renforcer des structures discriminatoires déjà présentes dans notre société. D’une part, ces erreurs favorisent l’exclusion de groupes de personnes déjà défavorisées. D’autre part, s’il se nourrit de ses propres prédictions erronées, le système d’IA peut ainsi accentuer les biais qu’il a déjà intégrés à partir des données humaines.

Dans les prochaines diapositives, nous verrons quelques exemples de cas réels de discrimination causée par l’IA..

17 of 28

Exemple #1 : Une application de télémedecine pose de mauvais diagnostics.

Au Royaume-Uni, une application de télémédecine a été critiquée pour son incapacité à détecter les crises cardiaques chez les femmes qui en présentaient pourtant les symptômes.

Des tests faits avec des cas fictifs par un médecin ont effectivement révélé que l'application avait tendance à sous-estimer les symptômes de crise cardiaque chez les femmes, leur assignant plutôt un diagnostic de crise de panique ou de dépression. Il ne leur était alors pas recommandé de consulter un vrai médecin de manière urgente.

Ce genre d’erreurs est d’autant plus grave que lorsque le test était fait pour un patient masculin hypothétique dont l’historique de santé était identique à celui de la patiente fictive, l’application reconnaissait correctement les symptômes d’une crise cardiaque et recommandait d’appeler une ambulance ou de se rendre à l’hôpital de toute urgence.

Si cet exemple n’est qu’un témoin d’une erreur sans conséquences pour la vie d’une vraie femme puisqu’il a été observé dans un contexte de test, il soulève tout de même des préoccupations sur la fiabilité et l'efficacité de l'application, mettant en évidence l'importance de corriger ces biais pour assurer des soins de santé équitables et précis pour tout le monde.

18 of 28

Exemple #2 : Un système de reconnaissance faciale discriminatoire mène à des arrestations erronées.

En février 2023, une femme noire qui était enceinte a été détenue en prision pendant plusieurs heures parce qu’un système d’IA l’avait identifiée par erreur comme l’autrice du vol combiné d’un cellulaire, d’un portefeuille et d’une voiture.

(Nic Antaya /New York Times. Redux. REA)

Source: Nic Antaya /New York Times. Redux. REA

En février 2023, aux États-Unis, une femme noire qui était enceinte a été détenue en prision pendant plusieurs heures parce qu’un système d’IA l’avait identifiée par erreur comme l’autrice du vol combiné d’un cellulaire, d’un portefeuille et d’une voiture.

D’autres personnes noires ont elles aussi été faussement accusées dans les dernières années. Le manque de visages de personnes noires dans les banques d’images utilisées pour entraîner les systèmes de reconnaissance faciale pourrait expliquer ces erreurs.

Il ne fait pas de doute que ces erreurs ont fait vivre des expériences traumatisantes aux personnes touchées. On peut aussi constater que ce nouveau risque affecte davantage les personnes noires, ce qui contribue à les stigmatiser et leur fait vivre une nouvelle forme de discrimination systémique.

19 of 28

En Australie, entre 2015 et 2019, un système automatisé utilisé pour

récupérer de prétendues dettes d’aide sociale a envoyé des milliers de lettres de demande de remboursement basées sur des calculs automatisés erronés.

Exemple #3 : Un système de détection de fraudes de l’aide sociale crée des demandes de remboursement non justifiées.

En Australie, entre 2015 et 2019, un système automatisé utilisé pour récupérer de prétendues dettes d'aide sociale a envoyé des milliers de lettres de demande de remboursement basées sur des calculs automatisés erronés.

Les calculs s’appuyaient sur des données de revenus du système fiscal qui ne correspondaient pas toujours à la réalité des revenus des bénéficiaires. Les critiques ont soutenu que ce système a ciblé de manière disproportionnée les plus vulnérables de la société dû à une mécompréhension de leur réalité par les concepteurs de l’algorithme, renforçant ainsi une discrimination systémique.

Ces demandes de remboursement inexactes ont causé beaucoup de stress financier et émotionnel chez les plus de 500 000 personnes touchées par ces erreurs. La commission royale d’enquête chargée de faire la lumière sur ce scandale a même conclu que la pression engendrée par ces erreurs est à l’origine d’au moins 3 suicides.

Le gouvernement australien a évidemment été vivement critiqué pour son manque de rigueur et d’empathie et a dû procéder à des remboursements de plus de 700 millions de dollars australiens.

20 of 28

21 of 28

D’un point de vue technique, certaines pistes de solutions méritent d’être envisagées.

Une plus grande qualité des données passe, entre autres, par les facteurs suivants :

Améliorer la qualité des données Augmenter la quantité de données

Utiliser des algorithmes plus robustes

Évaluer la performance des système d’IA en incluant une dimension relative aux biais

Rendre les modèles plus transparents

D’abord, il est évident qu’il est possible pour les équipes de développement de poser certaines actions d’un point de vue technique.

On peut commencer par une inspection plus rigoureuse des données qui seront utilisées pour entraîner un système d’IA. Cela implique de vérifier si des biais sont présents dans les données et d’essayer de les corriger en éliminant ou en modifiant le poids des groupes discriminés.

Le fait d’avoir un plus grand bassin de données permet également d’avoir un portrait peut-être un peu plus juste de la situation en s’assurant de bien représenter la diversité possible.

Ensuite, les équipes de développement peuvent aussi avoir recours à différents algorithmes qui sont plus robustes face aux biais induits par les données.

On peut aussi utiliser diverses méthodes d’évaluation des modèles qui tiennent davantage compte des problèmes de discrimination qu’un système d’IA pourrait potentiellement générer. On peut ainsi s’assurer d’un traitement plus équitable pour tous les groupes.

Enfin, sachant que toutes ces solutions techniques ne sont pas infaillibles, rendre les modèles plus transparents en donnant des explications sur les données utilisées ainsi que sur les raisons qui ont motivé le système d’IA à donner telle recommandation peut aussi être envisageable.

22 of 28

Les domaines de l’industrie et de la recherche ont leur rôle à jouer pour contrer l’influence des biais en IA.

Au-delà de l’intégration des solutions techniques, les compagnies d’IA peuvent poser diverses actions pour

Communiquer de manière plus claire la performance des systèmes développés

Favoriser une plus grande diversité au sein des équipes de conception

Intégrer la perspectives des gens qui peuvent être affectés

Considérer la lutte à la discrimination, et l’éthique de façon plus générale, comme des valeurs centrales

Partager les bonnes pratiques avec tout le milieu de l’IA

Au-delà des solutions techniques, l’industrie et le milieu de la recherche en IA peuvent explorer d’autres avenues, plus sociales ou conceptuelles, pour tenter de contrer l’influence des biais en IA.

Par exemple, on peut mentionner une meilleure communication des différentes performances du système d’IA afin que les personnes qui souhaitent utiliser ce système sachent quel est son taux d’erreur selon divers contextes.

Ensuite, dans les équipes qui travaillent en IA, une plus grande diversité, que ce soit par rapport au genre, à l’origine ethnique, à l’âge, au type de formation, etc., permettrait d’avoir plus de points de vue variés. En favorisant des perspectives plus nombreuses, on pourrait ainsi réduire les préjugés inconscients que des groupes plus uniformes pourraient avoir.

Privilégier une pluralité des points de vue pourrait aussi impliquer le fait d’inclure les personnes qui pourraient être affectées par l’implantation d’un système d’IA. Par exemple, si on veut créer un système de reconnaissance faciale pour les aéroports, on pourrait demander à un bassin varié de voyageurs ce qu’ils pensent de ce genre de système.

On peut aussi penser à une meilleure intégration des principes éthiques dès la conception des systèmes d'IA, en veillant à minimiser les risques de biais et de discrimination. Cela permettra d’orienter les développements en IA de manière à ce qu’ils tiennent davantage compte des impacts sociaux qu’ils peuvent avoir.

Finalement, il serait aussi essentiel de favoriser la collaboration entre toutes les entreprises et équipes de recherche afin de partager les bonnes pratiques et solutions à travers tout le milieu de l’IA.

23 of 28

Cependant, il demeure compliqué de mettre en place et faire respecter ce type de mesures. Certaines personnes disent aussi que cela pourrait brimer l’innovation.

Une meilleure réglementation permettrait de forcer le milieu de l’IA à davantage considérer les enjeux de préjugés et de discrimination.

Les diverses mesures techniques et autres types d’actions à poser par l’industrie et la recherche en IA qu’on vient de mentionner pourraient être renforcées par de la réglementation. Cela permettrait de forcer le milieu de l’IA à davantage rendre des comptes.

Par exemple, on pourrait créer un système de certification éthique qui attesterait de l’engagement des entreprises à respecter certaines normes éthiques. On pourrait également imposer certains standards de performance qui devraient obligatoirement être atteints pour tous les groupes concernés par l’utilisation d’un certain système d’IA avant que ce système puisse être commercialisé.

Cela dit, il demeure assez compliqué de mettre en place ces mesures et de les faire respecter. Certaines personnes qui sont critiques des réglementations soulignent que cela pourrait brimer l’innovation puisque le milieu de l’IA aurait peur de commettre des faux pas. On peut toutefois se demander si innover en vaut vraiment la peine lorsque cela contribue à différentes formes de discrimination.

24 of 28

Enfin, même quand on ne fait qu’utiliser l’IA, on peut aussi faire sa part pour lutter contre la discrimination.

Ces actions passent par différents types d’actions:

Se renseigner

Participer à la sensibilisation des autres

Signaler les biais ou le manque de transparence

Faire preuve de transparence soi-même

Rester critique

Finalement, on a également un rôle à jouer dans la lutte contre la discrimination, même si on se limite à utiliser l’IA et non à la développer. Ces actions n’ont peut-être pas le même genre de visibilité ou de portée que celles posées par les compagnies ou les gouvernements, mais elles demeurent tout de même très importantes.

D’abord, le fait de se renseigner constitue évidemment une excellente façon de participer aux discussions sur la discrimination en IA. L’atelier d’aujourd’hui est un bon exemple! En acquérant des nouvelles connaissances et une plus grande sensibilité à ce type d’enjeux, on peut ensuite aider les autres à aussi s’éduquer sur le sujet.

De plus, si on remarque un biais ou un manque de transparence lorsqu’on utilise un système d’IA, il peut être utile de le signaler à une autorité compétente, comme la compagnie qui développe le système ou l’entité, comme une entreprise ou une agence gouvernementale, qui se sert de ce système pour fournir un service.

On devrait aussi s’assurer de faire preuve de transparence quand on a soi-même recours à un système d’IA afin d’informer les personnes que cela pourrait toucher.

Enfin, il est important de rester critique quand on utilise une technologie pour s’assurer qu’on fait usage de l’IA de manière à rester en accord ses valeurs.

25 of 28

26 of 28

Les divers types de discrimination que favorise l’IA nécessitent la plus grande attention qui soit.

En effet, une fois adaptés par les systèmes d’IA, ces biais peuvent avoir de lourdes conséquences bien réelles.

De manière générale, il est important de se soucier de la discrimination que peut favoriser l’IA.

Comme on l’a vu, les préjugés humains peuvent rapidement et facilement s’introduire dans un système d’IA, même si les diverses personnes responsables n’ont pas de mauvaises intentions en ce sens.

Une fois adaptés par les systèmes d’IA, ces biais peuvent avoir de lourdes conséquences réelles sur la vie des personnes en particulier comme sur la société de manière plus générale.

Le problème de la discrimination en IA en est un qui est complexe à régler. La combinaison des diverses solutions dont on a discuté pourra certainement aider à en atténuer les effets, mais il est peu probable qu’on arrive à complètement les éradiquer. Il est donc important de se questionner sur la relation qu’on entretient, en tant qu’individu et membre de la société, avec l’IA. La puissance de cette technologie laisse entrevoir une foule de nouvelles applications qu’il faut considérer avec prudence afin de favoriser un développement qui évite du mieux possible les pièges de la discrimination.

27 of 28

28 of 28

CRÉDITS ORIGINAUX

Recherche

Rédaction de contenu Adèle Aubin

Création graphique Julia Martinez Turgeon