Fundamentos del Procesamiento del Lenguaje Natural

Curso online
Horario: Lunes de 18.30 a 21.30
Horas: 18 en 6 clases de 3 horas
Comienzo: Lunes 11 de enero

Arancel: AR$ 6.000

Precio general: pago único de U$S 150

Redes Neuronales Recurrentes - Modelos secuenciales

* Redes Neuronales Recurrentes
* Natural Language Processing & Word Embeddings
* Modelos Secuenciales y mecanismos de atención

REDES NEURONALES RECURRENTES

Objetivos del aprendizaje

- Conocer las redes neuronales recurrentes y sus variantes: LSTM, GRU y RNN bidireccionales

¿Porqué modelos secuenciales?
Notación
El modelo de las redes neuronales recurrentes
Backpropagation a través del tiempo
Diferentes tipos de RNNs
GRU: Gated Recurrent Unit (GRU)
LSTM: Long Short Term Memory (LSTM)
RNN bidireccionales
RNN profundas

NATURAL LANGUAJE PROCESSING & WORD EMBEDDINGS

Objetivos del aprendizaje

Deep Learning y NLP es una combinación potente. Usando representaciones vectoriales de palabras y embeddings se pueden entrenar redes neuronales recurrentes con rendimientos sorprendentes en una amplia variedad de industrias.

Ejemplos: análisis de sentimientos, entidades nombradas y traducciones.


INTRODUCCIÓN A WORD EMBEDDINGS

- Representación de palabras
- Usando word embeddings
- Propiedades de word embeddings
- Embedding matrix
- Word Embeddings: Word2vec & GloVe
- Aprendizaje de word embeddings
- Word2Vec
- Negative Sampling
- GloVe word vectors

APLICACIONES USANDO WORD EMBEDDINGS

- Clasificación de sentimiento
- Sacando el bias de word embeddings

MODELOS SECUENCIALES Y MECANISMOS DE ATENCIÓN

Objetivos del aprendizaje

- Los modelos secuenciales pueden potenciarse usando mecanismos de atención.
Este algoritmo ayudará a que nuestro modelo entienda adonde debe enfocar su atención dada una secuencia
de inputs.
- Aprenderemos también reconocimiento de habla y manejo de datos de audio.

Varias arquitecturas de secuencia a secuencia

- Modelos básicos
- Eligiendo la oración más probable
- Beam Search
- Refinando Beam Search
- Análisis del error de Beam Search
- Bleu Score
- Conceptos de modelo de atención
- Modelo de atención
- Audio data
- Speech recognition
- Trigger Word Detection


PRÁCTICAS

* Construyendo una red neuronal paso a paso
* Modelo de lenguaje a nivel caracter - generación de palabras
* Creando música con LSTM
* Operaciones con vectores de palabras - corrección del sesgo
* Clasificación de sentimientos
* Traducción con modelos de atención
* Detección de la palabra gatillo