CC5218 Perspectivas y paradigmas en Inteligencia Artificial�Interpretabilidad, equidad y ética
Doshi Velez, F. y Kim, B. Towards a Rigorous Science of Interpretable Machine Learning�
Slides hechas con NotebookLM
CC5218 Perspectivas y paradigmas en Inteligencia Artificial�Interpretabilidad, equidad y ética
Olah, C. et al. Zoom In: An Introduction to Circuits
Slides hechas con NotebookLM
Imagine una capa de red con solo 4 neuronas. Tras procesar la palabra "gato", el sistema genera activaciones numéricas específicas:
Este vector es el estado oculto de ese token en esa capa.
Entendiendo las Features
Neuronas Individuales
Las dimensiones de la capa equivalen exactamente a las coordenadas espaciales de las neuronas físicas correspondientes en el sistema.
Estructura del Vector [2,1,3,0]
El punto coordinado se traduce directamente en:� Neurona 1 = 2 | Neurona 2 = 1� Neurona 3 = 3 | Neurona 4 = 0
Dimensiones como Coordenadas
Una característica como "animalidad" no depende de una sola neurona, sino de una combinación lineal de ellas (un vector dirección):
Equivale a:
Una Característica (o Feature) como Dirección
Calculado a través del producto punto matemático:
Un valor alto indica que el modelo representa con gran fuerza el concepto semántico dentro de este espacio de activations.
Fuerza de una Característica
0
Fuerza "Animalidad"
Activación para "Auto"
Si el token es "auto" y genera un vector de activación: h = [0,4,0,3]:
El producto punto con el vector es exactamente cero. Esto demuestra que los vehículos se orientan geométricamente hacia ejes disímiles u ortogonales.
Fuerza de Alineación: "Auto"
Intuición Geométrica
Imagine que el espacio de activación tiene múltiples dimensiones. Los conceptos de seres vivos ("gato", "perro") se proyectan en una dirección definida.
Una característica es literalmente un eje en este espacio de activaciones. La cercanía o proyección sobre este eje determina su presencia.
La Superposición
Es una propiedad de la representación global. El modelo empaqueta más características que neuronas físicas usando direcciones no ortogonales.
La Polisemicidad
Es una propiedad de una neurona individual en aislamiento. Ocurre cuando un único nodo físico reacciona ante conceptos inconexos.
Dos Conceptos Estrechamente Ligados
Imagine que contamos únicamente con 2 neuronas (un espacio bidimensional), pero necesitamos representar 5 características distintas:
Logramos codificar los 5 conceptos como diferentes direcciones vectoriales. Esto es la superposición.
•
Característica A = (1, 0)
•
Característica B = (0, 1)
•
Característica C = (1, 1)
•
Característica D = (1, -1)
•
Característica E = (-1, 1)
Superposición en 2D
Análisis de la Neurona 1
La Neurona 1 contribuye directamente a la activación de la Característica A, la Característica C y la Característica D.
Aislada, parecerá que responde de forma caótica a conceptos sin relación aparente alguna.
Análisis de la Neurona 2
La Neurona 2 contribuye a la Característica B, la Característica C y la Característica E.
Al igual que la primera, exhibe un comportamiento polisemántico al carecer de un significado único y puro.
Polisemicidad en Acción
Por lo tanto, la polisemicidad se considera como una consecuencia de la superposición.
CC5218 Perspectivas y paradigmas en Inteligencia Artificial�Interpretabilidad, equidad y ética
Barocas, S., Hardt, M. y Narayanan, A. Fairness in Machine Learning: Limitations and Opportunities, Capítulo 1
Slides hechas con NotebookLM
Síntesis