1 of 22

Aprendizaje Automático Básico para Ciencias

Módulo 5 - Redes y florestas

2 of 22

Agenda

  • Resumen del estado del arte
  • Random Forests
  • Redes Neuronales tradicionales
  • Redes Profundas - Deep Learning

3 of 22

Resumen del estado del arte

4 of 22

Avances teóricos

  • Combinación de expertos
  • Estadística no paramétrica
  • Boosting
  • Bootstrap
  • Teoría de Aproximaciones
  • Métodos de Optimización

​

5 of 22

Avances tecnológicos

  • Más recursos
    • Velocidad, memoria
    • Centros de supercomputación
  • Hardware especializado
    • GPUs, TPUs
  • Software especializado
    • PyTorch, TensorFlow, CVX

​

6 of 22

Aspectos coyunturales

  • Grandes volúmenes de datos
  • Software libre
  • Bibliotecas de datos públicas
  • Enorme interés en el tema
  • Potencial científico
  • Potencial económico
  • Carreras especializadas

7 of 22

Random Forests

8 of 22

Random Forests

Arquitectura

  • Ensemble de árboles de decisión
  • Votación
    • Cada árbol da su veredicto
    • Se decide por mayoría

Cada árbol se entrena con:

    • subconjunto aleatorio de los datos (bootstrap)
    • subconjunto aleatorio de los features

9 of 22

XGBoost

Boosting:

  • Concentrar entrenamiento donde se cometen más errores

XGBoost combina:

  • Random Forests
  • Boosting

10 of 22

Redes Neuronales Tradicionales

11 of 22

Qué es una red neuronal artificial?

  • Vagamente
    • inspirada en redes neuronales biológicas
  • Concretamente
    • método de regresión no lineal glorificado
    • Aproximador de funciones universal
  • MLP: Multi-Layer Perceptron

12 of 22

Los inviernos de las redes neuronales

  • Siempre controversiales
  • Minsky & Papert (1969)
    • Limitaciones de los perceptrones
    • Problemas para entrenar
  • Años 90
    • Problemas al entrenar muchas capas
    • Muchos parámetros, pocos datos
    • Limitaciones en capacidad de cálculo
    • Problemas teóricos (mínimos locales)

​

13 of 22

Redes Profundas y Deep Learning

14 of 22

Qué es el Deep Learning

Por arriba

  • Redes neuronales de muchas capas

Por debajo

  • Nuevas y mejores arquitecturas
  • Nuevos y mejores algoritmos
  • Más y mejor hardware
  • Muchos más y mejores datos

15 of 22

Muchas capas

  • Antes: 2 o 3 capas máx
  • Ahora: decenas de capas
    • ​

Por qué antes no se podía?

  • Más capas, muchos más parámetros
  • Problemas numéricos de entrenamiento
    • Vanishing gradient

16 of 22

Nuevas arquitecturas

Convolutional Networks

  • Primeras capas son filtros repetidos
  • Muy pocos parámetros
  • Representación multiescala

17 of 22

Nuevas arquitecturas

Autoencoders

  • Salida = Entrada
  • Cuello de botella en el medio
    • Representación sintética
    • Reducción de dimensión
  • Luego de aprender, se corta al medio
  • Sirve para aprender representaciones!

18 of 22

Nuevas arquitecturas

Generative Adversarial Networks

  • El arte del engaño

​

Tomado de https://towardsdatascience.com/generative-adversarial-networks-gans-2231c5943b11

19 of 22

Nuevas arquitecturas

Diffusion Models

  • Alucinar desde el ruido
  • Revertir proceso de difusión (agregado de ruido)
  • Estado del arte en generación de “arte”
  • Imágenes: DALL-E 2
  • Música: OpenAI Jukebox

20 of 22

Nuevas arquitecturas

Recurrent Networks / LSTM

  • Captura de patrones temporales
  • Long-Short Term

​

Caso de éxito

  • Transcripción de texto escrito
  • Recomendamos este link
  • Tesseract OCR
  • Calamari OCR

Tomado de https://towardsdatascience.com/transformers-141e32e69591

21 of 22

Nuevas arquitecturas

Attention

  • Prestar atención a ciertas partes de pasado/entrada

​

Caso de éxito

  • Traducción automática entre idiomas
  • Recomendamos este link

Tomado de https://distill.pub/2016/augmented-rnns/

22 of 22

Nuevos y mejores algoritmos

Transformers

  • Atención mejorada

​

Caso de éxito

  • Traducción automática entre idiomas (mucho más mejor)
  • Interpretación de imágenes

Tomado de https://towardsdatascience.com/transformers-141e32e69591