Perceptrón Multicapa

Redes neuronales

FEATURES

OUTPUT

PARÁMETROS

LABELS

Perceptron

Frank Rosenblatt

1957

Perceptron

Seymour Papert

Marvin Minsky

1969

Los perceptrones de una capa tienen problemas con etiquetas XOR

https://playground.tensorflow.org/

El libro no decía nada de perceptrones multicapas. Aún así fue usado para invertir menos en MLP

“It would seem that Perceptrons has much the same role as The Necronomicon — that is, often cited but never read.”

Minsky,1994

Otros problemas de perceptrones de 1 capa

• La linealidad es una condición muy restrictiva
• supone monotonía
• Fallan ante señales muy ruidosas
• La convergencia está muy estudiada e impone límites a la cantidad de información que puede comprimir

El invierno de la Inteligencia Artificial

Perceptrones Multicapa (ver. alpha)

o

x

h

h = W₁x + b₁

o = W₂h + b₂

h = W₁x + b₁

o = W₂h + b₂

T. afin

o = W₂(W₁x + b₁ )+ b₂

o = W₂W₁x + W₂b₁ + b₂

o = W₃x + c + b₂

o = W₃x + b₃

h = W₁x + b₁

o = W₂h + b₂

o = W₃x + b₃

Volvimos a lo mismo pero con más cuentas

La composición de funciones lineales es lineal. Necesitamos algo más

Funciones de activación

y = W₁x + b₁

h = σ(y)

o = W₂h + b₂

Funciones de activación más comunes

1. ReLU → rojo
2. sigmoidea → azul
3. tangente hiperbólica → verde
4. PReLU → amarillo

https://www.desmos.com/calculator/plevozbz1o

Los 3 sabores de PReLU

1. ReLU → a = 0
2. “leaky” ReLU → a > 0
3. PReLU → a es un parámetro.

En PReLU necesitamos la derivada parcial respecto de a.

∂_aPReLU(x,a) = min(x,0)

Observaciones

• Tanto PReLU como ReLU tienen la ventaja de que mantienen algo del gradiente. Eso ayuda a que nuestro modelo converja.
• La sigmoidea tiene el defecto que no se va a 0 para x = 0. En algunos casos eso puede tener problemas

Convergencia y modelos no lineales

Modelo Lineal

Modelo No Lineal

Modelo Lineal

Modelo No Lineal

!?

Modelo Lineal

Modelo No Lineal

El problema de cómo elegir los parámetros iniciales es un problema abierto

MLP y Teoremas de aproximación universal

Los resultados son empíricos porque hay teoremas que nos aseguran condiciones suficientes para encontrar soluciones

Los teoremas existentes analizan qué ocurre al limitar número de capas, número de salidas, número de entradas, funciones de activación…

… en muchos casos los teoremas aseguran la existencia de soluciones óptimas.

Backward y Forward Propagation

“or There and Back Again”

y = W₁x + b₁

h = σ(y,a)

o = W₂h + b₂

Loss(o)

y = W₁x + b₁

h = σ(y,a)

o = W₂h + b₂

Loss(o)

∂_W1 Loss(o)

∂_b1 Loss(o)

∂_a Loss(o)

∂_W2 Loss(o)

∂_b2 Loss(o)

y = W₁x + b₁

h = σ(y,a)

o = W₂h + b₂

Loss(o)

∂_W1 Loss

∂_b1 Loss

∂_a Loss

∂_W2 Loss

∂_b2 Loss

∂_W1 y

∂_b1 y

∂_y h

∂_a h

∂_h o

∂_W2 o

∂_b2 o

∂_o Loss

y = W₁x + b₁

h = σ(y,a)

o = W₂h + b₂

Loss(o)

∂_W1 Loss

∂_b1 Loss

∂_a Loss

∂_W2 Loss

∂_b2 Loss

∂_W1 y

∂_b1 y

∂_y h

∂_a h

∂_h o

∂_W2 o

∂_b2 o

∂_o Loss

Regla de la cadena

g[f(x)]

∂_xg = ∂_fg∙∂_xf

y = W₁x + b₁

h = σ(y,a)

o = W₂h + b₂

Loss(o)

∂_W1 Loss

∂_b1 Loss

∂_a Loss

∂_W2 Loss

∂_b2 Loss

∂_W1 y

∂_b1 y

∂_y h

∂_a h

∂_h o

∂_W2 o

∂_b2 o

∂_o Loss

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_b1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_b1 y

∂_a Loss = ∂_o Loss∙∂_h o∙∂_a h

∂_W2 Loss = ∂_o Loss∙∂_W2 o

∂_b2 Loss = ∂_o Loss∙∂_b2 o

∂_W1 y

∂_b1 y

∂_y h

∂_a h

∂_h o

∂_W2 o

∂_b2 o

∂_o Loss

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_b1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_b1 y

∂_a Loss = ∂_o Loss∙∂_h o∙∂_a h

∂_W2 Loss = ∂_o Loss∙∂_W2 o

∂_b2 Loss = ∂_o Loss∙∂_b2 o

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_b1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_b1 y

∂_a Loss = ∂_o Loss∙∂_h o∙∂_a h

∂_W2 Loss = ∂_o Loss∙∂_W2 o

∂_b2 Loss = ∂_o Loss∙∂_b2 o

y = W₁x + b₁

h = σ(y,a)

o = W₂h + b₂

Loss(o)

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_b1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_b1 y

∂_a Loss = ∂_o Loss∙∂_h o∙∂_a h

∂_W2 Loss = ∂_o Loss∙∂_W2 o

∂_b2 Loss = ∂_o Loss∙∂_b2 o

y = W₁x + b₁

h = σ(y,a)

o = W₂h + b₂

Loss(o)

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_b1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_b1 y

∂_a Loss = ∂_o Loss∙∂_h o∙∂_a h

∂_W2 Loss = ∂_o Loss∙∂_W2 o

∂_b2 Loss = ∂_o Loss∙∂_b2 o

y = W₁x + b₁

h = σ(y,a)

o = W₂h + b₂

Loss(o)

Cálculo de función de pérdida

Cálculo del gradiente

Regla de la cadena

g[f(x)]

∂_xg = ∂_fg∙∂_xf

Backward Propagation

Notebook

MLP desde 0

Antes de comenzar debemos generar algunas funciones que modularicen tareas que vamos a usar en cualquier proceso de entrenamiento. A saber:

• Carga de los datos
• Separación de los datos en lotes
• Inicialización de parámetros
• Definición del modelo
• Definición de la función de pérdida
• Definición del algoritmo de optimización

Inicialización de parámetros

Función de activación

Definimos modelo

Implementación concisa

Implementación concisa

BASE TODO MLP

Observaciones:

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

Observaciones:

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

Observaciones:

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

Observaciones:

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_W1 Loss

∂_W1 y

∂_y h

∂_h o

∂_o Loss

!?

∂_W1 y

• Las derivadas con respecto a tensores de rango arbitrario es un problema de cálculo tensorial.
• El punto ∙ en la expresión es solo una manera de esconder cómo actúa la regla de la cadena cuando tenemos tensores de rango arbitrario.

​

​

​

Por lo general los frameworks se encargan de este problema por nosotros

∂_W1 Loss= ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

Álgebra tensorial

o cómo aprendí a dejar de preocuparme y amar las contracciones.

Observaciones:

Observaciones:

Observaciones:

gradiente del campo eléctrico

Birrefringencia

Observaciones:

∂_W1 Loss(o)

∂_W1 y

∂_y h

∂_h o

∂_o Loss(o)

Observaciones:

Solución 1: PyTorch se encarga por mí.

Solución 2: Voy a estudiar cálculo tensorial.

Solución 3: ¿Qué es una contracción?

​

• Producto interno
• Producto de un vector por una matriz
• Producto entre dos matrices
• Traza de una matriz

CONTRACCIONES

Álgebra lineal

Álgebra tensorial

Cálculo tensorial

Multiplicación que mata 2 índices

• Producto interno
• v_i, u_i → k
• Producto de un vector por una matriz
• A_ij, v_i → u_i
• Producto entre dos matrices
• A_ij, B_jk → C_ik
• Traza de una matriz
• A_ii → k

• Producto interno
• ∑_i v_iu_i = k
• Producto de un vector por una matriz
• ∑_iA_ijv_i = u_j
• Producto entre dos matrices
• ∑_i A_jiB_ik = C_jk
• Traza de una matriz
• ∑_iA_ii = k

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_o Loss

∂_W1 Loss

∂_W1 y

∂_h o

∂_y h

2

1

2

2

3

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_o Loss

∂_W1 Loss

∂_W1 y

2

1

3

M

2

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_o Loss

∂_W1 Loss

∂_W1 y

2

1

3

M

2

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_o Loss

∂_W1 Loss

∂_W1 y

2

1

3

M

2

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_W1 Loss

∂_W1 y

2

3

v

2

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_W1 Loss

∂_W1 y

2

3

v

1

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_W1 Loss

∂_W1 y

2

3

v

2

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_W1 Loss

2

K

2

∂_W1 Loss = ∂_o Loss∙∂_h o∙∂_y h∙∂_W1 y

∂_W1 Loss

2

K

2

MLP y Teoremas de aproximación universal. Ejemplos de papers

Limitando profundidad

• Cybenko, G. Approximation by superpositions of a sigmoidal function. Math. Control Signal Systems 2, 303–314 (1989). https://doi.org/10.1007/BF02551274
• Kurt Hornik, Approximation capabilities of multilayer feedforward networks, Neural Networks, Volume 4, Issue 2, 1991, Pages 251-257, ISSN 0893-6080, https://doi.org/10.1016/0893-6080(91)90009-T.
• Pinkus, A. (1999). Approximation theory of the MLP model in neural networks. Acta Numerica, 8, 143-195. doi:10.1017/S0962492900002919

Limitando ancho

• Lu, Zhou and Pu, Hongming and Wang, Feicheng and Hu, Zhiqiang and Wang, Liwei, Advances in Neural Information Processing Systems, 30, Curran Associates, Inc., The Expressive Power of Neural Networks: A View from the Width, https://proceedings.neurips.cc/paper/2017/file/32cbf687880eb1674a07bf717761dd3a-Paper.pdf , 2017
• Approximating Continuous Functions by ReLU Nets of Minimal Width, Boris Hanin and Mark Sellke, 2018, arXiv:1710.11278 [stat.ML]
• Minimum Width for Universal Approximation, Sejun Park and Chulhee Yun and Jaeho Lee and Jinwoo Shin, International Conference on Learning Representations, 2021, https://openreview.net/forum?id=O-XJwyoIF-k