En este desafío, mi objetivo es descubrir sesgos en la inteligencia artificial, me centraré en la islamofobia y el capacitismo. Analizaré cómo estos sesgos se reflejan en el modelo Beto con la herramienta EDIA, de esta forma planeo aportar mi grano de arena a que la discriminación en estas herramientas tan poderosas como lo son las inteligencias artificiales disminuya.

Metodología

Primero concentré mi tiempo en la decisión de qué sesgos buscaría afrontar, y mientras lo hacía quise desligarme de los sesgos más populares, es por eso que terminé seleccionando la islamofobia y el capacitismo como sesgos a evaluar, ya que son sesgos no muy tenidos en cuenta pero muy presentes en la sociedad y sospechaba que la IA también podría presentarlos.

Sesgos y sus daños

La islamofobia y el capacitismo son formas de sesgo con impactos significativos en la sociedad.

Islamofobia

Prejuicios y discriminación hacia personas musulmanas.

Aplicaciones Dañinas: Discriminación laboral, invisibilización social y condicionamiento de elecciones.

Hipótesis de Sesgo: La islamofobia contribuye a la creación de barreras sociales y económicas para las personas musulmanas, afectando negativamente su calidad de vida y limitando su participación plena en la sociedad.

Capacitismo

Discriminación y marginación hacia personas con discapacidades.

Aplicaciones Dañinas: Discriminación en el empleo, invisibilización social y condicionamiento de elecciones.

Hipótesis de Sesgo: El capacitismo perpetúa la discriminación y marginación de personas con discapacidades, generando barreras que afectan su participación plena en la sociedad.

Ambos sesgos generan impactos negativos, desde limitar oportunidades hasta afectar la cohesión social. La relevancia radica en abordar estos problemas para promover la inclusión y la igualdad en la sociedad.

Fundamentos teóricos y contexto

Definiciones y conceptos

Para comprender a fondo los sesgos en la inteligencia artificial, es esencial establecer definiciones y conceptos clave.

Sesgos: En el contexto de la inteligencia artificial, los sesgos se refieren a las desviaciones sistemáticas en los resultados de un modelo que pueden generar resultados inesperados o injustos. Estos sesgos pueden surgir de los datos de entrenamiento, reflejando prejuicios existentes en la sociedad.

Islamofobia: La islamofobia se define como el miedo, hostilidad o discriminación hacia el islam y, por extensión, hacia las personas musulmanas. En el ámbito de la inteligencia artificial, la islamofobia puede manifestarse como estereotipos o prejuicios injustos hacia individuos musulmanes en los resultados de los modelos.

Capacitismo: El capacitismo se refiere a la discriminación o prejuicio hacia las personas con discapacidades. En el contexto de la inteligencia artificial, el capacitismo puede traducirse en modelos que no tienen en cuenta las necesidades o capacidades de personas con discapacidades, perpetuando así la exclusión.

Ética en la IA: La ética en la inteligencia artificial se centra en garantizar que los sistemas de IA sean justos, transparentes y respetuosos de los valores humanos. Incluye la identificación y mitigación de sesgos para evitar consecuencias negativas y promover la equidad.

Importancia de la ética en la IA

La ética en la inteligencia artificial se ha vuelto crucial a medida que la tecnología se integra cada vez más en nuestras vidas. La falta de ética en el desarrollo y uso de la inteligencia artificial puede dar lugar a consecuencias perjudiciales, desde discriminación hasta violaciones de la privacidad. Es esencial abordar la ética para construir sistemas de IA confiables y socialmente responsables.

La rápida evolución de la inteligencia artificial también ha resaltado la necesidad de establecer estándares éticos sólidos. La falta de regulación ética puede llevar a la proliferación de sesgos, comprometiendo la imparcialidad y confiabilidad de los modelos de IA. Recordemos que el objetivo de las inteligencias artificiales es ayudar, no agraviar, y sin la ética incorporada, cada mensaje presentado por estas será nada menos que un agravio hacia una minoría que, al usar la herramienta, al contrario de verla como una herramienta, la consideran un arma, pues al ser discriminatoria, puede ser utilizada por las personas discriminadoras como herramienta para seguir discriminando y sentirse respaldados.

Metodología

Descripción

Como metodología para el descubrimiento de sesgos en el modelo seleccionado, se hará uso de una herramientas, conjuntos de datos y un modelo a evaluar, la herramienta al igual que el modelo de lenguaje fue seleccionado por el organizador del desafío, mientras que las palabras y los sesgos a investigar fueron seleccionados por mi persona.

Herramientas

La herramienta principal empleada para este análisis fue EDIA (Evaluación de Desigualdades y Sesgos en Algoritmos), una herramienta especializada en la detección de sesgos en modelos de inteligencia artificial. EDIA permite la identificación y cuantificación de sesgos, brindando así una visión detallada de los posibles sesgos presentes en el modelo Beto.

Conjuntos de datos

Se utilizarán conjuntos de datos diversificados y representativos que abarcan distintos contextos relacionados con la islamofobia y el capacitismo. Estos conjuntos fueron brindados el modelo de lenguaje que evaluaremos, y dicha evaluación, como se mencionó, será realizada con la herramienta.

Modelos evaluados

El enfoque se centró en el modelo Beto, una red neuronal en español pre entrenada conocida por su eficacia en diversas tareas de procesamiento del lenguaje natural. Dado que el origen y enfoque de este modelo es hacia la comunidad occidental, se espera de mi parte la existencia de un “descuido” hacia las comunidades asiáticas, árabes u otras, también se espera que ciertos sesgos existentes en la cultura occidental sean presentes también en el modelo.

Caracterización de sesgos

Conjuntos de palabras y expresiones multipalabras

Para la islamofobia y el capacitismo, se identificaron conjuntos de palabras y expresiones que reflejan prejuicios y estereotipos asociados a estas formas de sesgo. Entre las expresiones clave relacionadas con la islamofobia se encuentran términos como "terrorista islámico" y "amenaza musulmana", mientras que para el capacitismo se identifican expresiones como "carente de capacidad" y "discapacitado para realizar".

Capacidad diagnóstica de los conjuntos

La capacidad diagnóstica de los conjuntos se evaluó mediante el análisis de la presencia y frecuencia de estas expresiones en el modelo Beto. Se observó una correlación significativa entre la presencia de estas palabras y la manifestación de sesgos, lo que indica una relación expresa entre la cantidad de apariciones de una palabra con la mala utilización de las mismas por parte del modelo.

Palabras más caracterizadoras

Las palabras más caracterizadoras revelaron patrones específicos asociados con la islamofobia y el capacitismo en el modelo Beto. Para la islamofobia, términos como "Hiyab" y "Terrorista" destacaron, mientras que para el capacitismo, palabras como "Discapacitado" e "incapacidad" fueron prominentes. Estas palabras son despertadores de los sesgos presentes en el modelo.

Proceso de descubrimiento

Para el descubrimiento de las palabras anteriormente mencionadas, primero hice decisión de qué sesgos quería analizar, asumí que el modelo estaba entrenado con datos originados en la cultura occidental y viendo que EDIA indica que la poca frecuencia de una palabra en su base de datos puede generar sesgos o estereotipos, pensé en qué palabras podrían tener poca frecuencia en la base de datos, fue entonces que se me ocurrió indagar con la islamofobia, pues si investigamos daremos con el hecho de que, la cultura occidental, es una de las más islamofóbicas del planeta..

Conclusiones y recomendaciones

Hallazgos más relevantes

Durante el análisis de sesgos en el modelo Beto, se identificaron patrones significativos de islamofobia y capacitismo. Estos sesgos no solo están presentes, sino que también tienen aplicaciones dañinas, afectando la participación plena de personas musulmanas y aquellas con discapacidades en diversos aspectos de la sociedad. Este descubrimiento resalta la necesidad urgente de abordar la presencia de sesgos en los modelos de inteligencia artificial.

Lo primero y cuyo resultado fue más expresivo de lo que significa la discriminación por parte de la IA hacia el Islam, es que esta asocia el usar Hiyab con ser terrorista.

También, con un gran espectro de diferencias, podemos notar que la IA califica a las personas con capacidades como personas incapaces de aportar en el ámbito laboral, cuando la idea y la tendencia es la búsqueda de que las personas con discapacidades se puedan involucrar en ese ámbito.

Con respecto a la asociación del Hiyab con el terrorismo, podríamos atribuirlo a la excasa frecuencia en la que la palabra “Hiyab” aparece en la base de palabras que utiliza Beto.

También, si nos dirigimos hacia los contextos en los que dicha palabra aparece, habiendo seleccionado solo 5 de los mismos, podemos notar algo, de los 5 contextos, 3 tienen relación con la discriminación hacia las personas que lo portan (al hiyab).

Por otro lado, con referencia al capacitismo, no tenemos problemas de frecuencia de palabras, entonces, ¿a qué se debe que la IA asuma que los discapacitados no pueden trabajar? Lo estuve analizando con EDIA y aunque no hay una respuesta que parezca evidente, analizando los contextos proveídos por la herramienta, podemos llegar a la conclusión de que, en gran parte de los contextos en los que aparece la discapacidad, es haciendo referencia a personas que son completamente incapaces de trabajar, o contextos antiguos, cuando no se buscaba la involucración de los discapacitados en el ámbito laboral para no discriminarlos, entonces la IA asume que todos los discapacitados son iguales; carentes de la capacidad de trabajar e involucrarse.

También podemos mencionar que, en muchas ocasiones, los contextos en los que aparece la palabra “discapacidad” tiene relación con la incapacidad de trabajar, aunque esta no sea propia directamente de la persona discapacitada, sino de un familiar.

Reflexiones

Al igual que toda herramienta revolucionaria en algún aspecto, considero que debe lograr que estas se acerquen a cualquier persona, acercarse en el sentido de ser funcional, apta o capaz de satisfacer las necesidades de su usuario, si una inteligencia artificial tiene un sesgo de grandes proporciones hacia una cultura o hacia una minoría, los integrantes de esa minoría o cultura, evitarán hacer uso de esta herramienta, pues se sentirán discriminados, y considero que esto es algo importante que se debe abordar.

Sugerencias para el futuro

Como sugerencias para el futuro, considero que debe popularizarse y seguir mejorando herramientas para la detección de sesgos como lo es EDIA, que probablemente sea una herramienta poco utilizada en la industria de creación de inteligencias artificiales.

También considero que, se debe tener especial cuidado con la frecuencia de ciertas palabras ajenas a la cultura del lenguaje al que se está intentando mejorar con respecto a los sesgos, en un lenguaje como Beto, que es un lenguaje en español, y probablemente esté entrenado con miles de datos originados en la cultura occidental, es muy probable que la frecuencia de palabras referentes a la cultura asiática o árabe sea escasa, y la pequeña cifra de 447 apariciones de “Hiyab” es una demostración de ello.

Por otro lado, considero que la educación sobre los sesgos en las IA debe aumentarse, hasta la realización previa de este desafío, desconocía completamente la existencia de sesgos y el proceso de descartar los mismos que existía detrás de las inteligencias artificiales.

También sería idóneo la incorporación de la diversidad en el proceso de desarrollo, ya sea asignando a un desarrollador como encargado de la prevención de los mismos o bien, siendo el descarte de los mismos una de las etapas en el proceso de desarrollo de una inteligencia artificial. En resumen, el análisis de sesgos en la inteligencia artificial requiere de un enfoque ético y equitativo en el desarrollo y uso de estos modelos.

Bibliografía

● DCC-UCHILE. (2022, Junio). Beto: Spanish BERT model by DCC-UCHILE. GitHub. Disponible en: https://github.com/dccuchile/beto

● Hugging Face. (s.f.). dccuchile/bert-base-spanish-wwm-cased. Hugging Face Model Hub. Disponible en: https://huggingface.co/dccuchile/bert-base-spanish-wwmcased

● Hugging Face. (s.f.). vialibre/edia. Hugging Face Model Hub. Disponible en: https://huggingface.co/spaces/vialibre/edia

Franco Cossatti - EDIA