Natural language processing, word embeddings y transformers
La tecnología detrás de ChatGPT

Curso online con docentes en vivo
Las clases se graban y quedan disponibles
Lunes y jueves de 18.30 a 21.30, hora de Buenos Aires, Argentina GMT-3
Son 8 clases de tres horas
Comienza: Lunes 2 de septiembre

Organiza: Centro de Graduados de Ingeniería de la Universidad de Buenos Aires

ARANCEL: U$S 199

Incluye:
Acceso a los 12.000 cursos de Coursera hasta el 31 de diciembre de 2025

Formas de pago: Paypal, USDT o Hotmart
Para Argentina: Mercado Pago o CBU

Te familiarizarás con los modelos de secuencia y sus emocionantes aplicaciones como el reconocimiento de voz, la síntesis de música, los chatbots, la traducción automática, el procesamiento del lenguaje natural (NLP) y más.

Al final, serás capaz de construir y entrenar Redes Neuronales Recurrentes (RNNs) y variantes comúnmente usadas como GRUs y LSTMs; aplicar RNNs al Modelado de Lenguaje a Nivel de Caracteres; adquirir experiencia con el procesamiento del lenguaje natural y Embeddings de Palabras; y usar tokenizadores y modelos transformadores de HuggingFace para resolver diferentes tareas de NLP como NER y Question Answering.

MÓDULO 1 - Redes Neuronales Recurrentes

Descubre las redes neuronales recurrentes, un tipo de modelo que funciona extremadamente bien con datos temporales, y varias de sus variantes, incluyendo LSTMs, GRUs y RNNs bidireccionales.

¿Por qué Modelos de Secuencia?
Notación
Modelo de Red Neuronal Recurrente
Retropropagación a través del Tiempo
Diferentes Tipos de RNNs
Modelo de Lenguaje y Generación de Secuencias
Muestreo de Secuencias Nuevas
Gradientes Desvanecientes con RNNs
Unidad Recurrente Gated (GRU)
Memoria de Corto y Largo Plazo (LSTM)
RNN Bidireccional
RNNs Profundas

MÓDULO 2 - Natural Language Processing y Word Embeddings

El procesamiento del lenguaje natural con deep learning es una combinación poderosa. Usando representaciones vectoriales de palabras y capas de embedding, entrena redes neuronales recurrentes con un rendimiento sobresaliente en una amplia variedad de aplicaciones, incluyendo análisis de sentimientos, reconocimiento de entidades nombradas y traducción automática neuronal.
Representación de Palabras
Uso de Embeddings de Palabras
Propiedades de los Embeddings de Palabras
Matriz de Embeddings
Aprendizaje de Embeddings de Palabras
Word2Vec
Muestreo Negativo
Vectores de Palabras GloVe
Clasificación de Sentimientos
Eliminación de Sesgos en Embeddings de Palabras

MÓDULO 3 - Modelos secuenciales y mecanismos de atención

Aumenta tus modelos de secuencia utilizando un mecanismo de atención, un algoritmo que ayuda a tu modelo a decidir dónde enfocar su atención dada una secuencia de entradas. Luego, explora el reconocimiento de voz y cómo manejar los datos de audio.

Modelos Básicos
Elección de la Frase Más Probable
Búsqueda de Haz
Mejoras en la Búsqueda de Haz
Análisis de Errores en la Búsqueda de Haz
Puntuación BLEU
Intuición del Modelo de Atención
Modelo de Atención
Reconocimiento de Voz
Detección de Palabras de Activación

MÓDULO 4 - Transformer network

Objetivos de Aprendizaje

Crear codificaciones posicionales para capturar relaciones secuenciales en los datos
Calcular la autoatención con producto escalar puntual escalado usando embeddings de palabras
Implementar atención multi-cabezal enmascarada
Construir y entrenar un modelo Transformer
Ajustar un modelo Transformer preentrenado para el Reconocimiento de Entidades Nombradas
Ajustar un modelo Transformer preentrenado para la Respuesta a Preguntas
Implementar un modelo de QA en TensorFlow y PyTorch
Ajustar un modelo Transformer preentrenado a un conjunto de datos personalizado
Realizar Respuesta a Preguntas Extractivas

Transformer Network Intuition
Self-Attention
Multi-Head Attention
Transformer Network
Conclusion and Thank You!