Lecture 14.
From LSTM
to GPT
RNN: базовая идея.
Recap: RNN → LSTM
Проблемы RNN.
Recap: RNN → LSTM
Vanishing / exploding gradients�Зависимость от предыдущих шагов
Нет параллелизма
LSTM: gated memory.
Recap: RNN → LSTM
Ячейка памяти�Forget / Input / Output gates�Лучше запоминает
локальный контекст
Почему и LSTM недостаточно?
Recap: RNN → LSTM
Длинные зависимости всё ещё сложные
Последовательные вычисления�Плохо масштабируется
Интуиция внимания.
Attention: ключевая идея
Гипотеза.
Контекст важнее расстояния во времени.
Идея.
Для каждого элемента последовательности:
Интуиция внимания.
Attention: ключевая идея
Контекстное представление токена вычисляется как взвешенная сумма других токенов.
Формализация attention.
Attention: ключевая идея
Q: запрос�K: ключи�V: значения�softmax - распределение внимания
Формализация attention.
Attention: ключевая идея
Формализация attention.
Attention: ключевая идея
Формализация attention.
Attention: ключевая идея
Формализация attention.
Attention: ключевая идея
Seq2Seq без attention.
Encoder–Decoder Attention
Архитектура:
Вся важная информация сжимается в один вектор
Seq2Seq с attention.
Encoder–Decoder Attention
Контекст декодера:
Декодер получает динамический доступ к encoder states.
Seq2Seq с attention.
Encoder–Decoder Attention
Self-attention: определение
Self-Attention
Encoder и decoder - одна и та же последовательность.�Каждый токен взаимодействует со всеми.
Self-attention: схема
Self-Attention
Матрица внимания.
Self-Attention
Attention scores
Нормализация
Выход
Матрица внимания.
Self-Attention
Контекстуальные эмбеддинги.
Self-Attention
Свойство.
Каждый выходной вектор:
Глобальные зависимости
Почему attention превосходит RNN
Сравнение:
RNN - путь длины O(T)
Attention - путь длины O(1)
Параллелизм
Почему attention превосходит RNN
Сравнение:
RNN - O(T) шагов последовательно
Attention - один матричный оператор
Transformer: общая схема
Transformers
Multi-head self-attention�Feed-forward network�Residual connections�Layer normalization
Feed-Forward Network
Transformers
Применяется независимо к каждому токену
Positional Encoding
Transformers
Attention не учитывает порядок, поэтому появляется новый слой
Multi-Head Attention
Transformers
где каждая голова - отдельный attention.
Multi-Head Attention
Transformers
Self-attention summary
Encoder (Bidirectional Encoder �Representations from Tranformers).
Encoder vs Decoder
Bidirectional attention�Masked Language Modeling:
Encoder (Bidirectional Encoder �Representations from Tranformers).
Encoder vs Decoder
Decoder (Generative Pretrained Transformer).
Encoder vs Decoder
Masked self-attention:
Факторизация
Decoder (GPT).
Encoder vs Decoder
Masked self-attention:
Факторизация
Отличия BERT и GPT.
Encoder vs Decoder
GPT как вероятностная модель языка.
GPT: Decoder-Only Transformers
Языковая модель задаёт распределение на последовательностях:
Свойства:
Masked Self-Attention в GPT.
GPT: Decoder-Only Transformers
Attention с маской:
Запрещён доступ к будущим токенам
Обеспечивает причинность (causality)
Обучение GPT.
GPT: Decoder-Only Transformers
Функция потерь:
Полностью self-supervised�Не требует разметки�Требует огромные корпуса текста
Генерация текста.
GPT: Decoder-Only Transformers
Sampling:
τ — temperature�Top-k / nucleus sampling ограничивают пространство выбора
Scaling Laws.
Почему Large Language Models работают?
Эмпирическое наблюдение.
Потери убывают по степенному закону:
N - число параметров
alpha ~ 0.07 - 0.1
Нет «насыщения»
Рост модели продолжает улучшать качество
Три оси масштабирования.
Почему Large Language Models работают?
Оптимальный баланс
N - параметры�D - объём данных�C - вычисления
Недостаток любой оси ограничивает рост качества.
Emergent Abilities.
Почему Large Language Models работают?
Способности, которые:
Примеры:
Few-shot learning�Арифметика�Chain-of-Thought reasoning
Emergent Abilities.
Почему Large Language Models работают?
Почему Large Language Models работают?
Язык как универсальный интерфейс.
Почему Large Language Models работают?
Всё представляется в текстовой форме�Инструкции, знания и примеры в одном пространстве
Одна модель решает множество задач.
Hallucinations.
Ограничения GPT
Причина - Оптимизация правдоподобия:
Следствие:
Модель уверенно выдаёт ложные факты�Нет встроенной верификации
Параметры ≠ знания.
Ограничения GPT
Формально:
Проблемы:
Обновление знаний требует дообучения
Нет источников и ссылок
Ограниченное окно контекста.
Ограничения GPT
Ограничение:
Проблемы:
Невозможность обработать большие документы�Потеря глобального контекста
Вывод: мотивация для RAG
Ограничения GPT
Комбинация LLM+Retriever+External Knowledge
Приводит к Retrieval-Augmented Generation…
Проблемы LLM
RAG: зачем и для чего?
Данные проблемы решает RAG
Retrieval Augmented Generation
RAG
RAG - подход, при котором LLM получает релевантную информацию из внешней базы знаний перед генерации ответа
Retrieval - поиск документов и актуальной информации
Augmented - дополнение промпта контекстом
Generation - генерация ответа с учетом контекста
RAG Pipeline
Разбиение документов на смысловые фрагменты
Step 1: Chunking
Подходы:
Что используем обычно на практике?
Вектора..
Step 2: Embeddings
Основной смысл: превращаем текст в вектор фиксированной размерности. Семантически близкие тексты - близкие векторы в пространстве, imagine that
Что популярно среди embedding-моделей?
БД для хранения и поиска векторов
Step 3: Vector Store
FAISS - библиотека от Meta🤗
Chroma
Pinecone
Qdrant
Положили в Vector DB, а далее используем
ANN - алгоритм поиска похожих векторов.
Среди миллиона векторов ищет top-10 ближайших
Как найти похожие векторы?
Similarity Search
Cosine Similarity!
Измеряет угол между векторами. Самая популярная метрика.
Top-K Retrieval: возвращаем K самых похожих чанков.
Типичные значения для K: 3-10
Финальный этап
Generation
Формируем промпт и отправляем в LLM.
Пример промпта:
System: Ты полезный ассистент. Отвечай ТОЛЬКО на основе предоставленного контекста.
Если ответа нет в контексте — скажи "Я не нашёл информации по этому вопросу".
Context: [чанк 1] [чанк 2] [чанк 3]
Question: [вопрос пользователя]
Answer:
Cons of RAG Systems
Problems
Плохой Retrieval: вытаскиваются нерелевантные чанки. Причина: плохой чанкинг и/или эмбединги
Lost in the Middle: LLM запоминает хорошо начало и конец, но в середине ей плохо
Context Overflow: too much чанков, не влезают в контекстное окно
Потеря контекста: опять же из-за чанкинга
Галлюцинации: still exist..
Latency: вот он критичен для приложений в рил тайме
Как можем его улучшить?
Advanced RAG
Hybrid Search: Dense (embeddings) + Sparse(BM25). Семантика и keyword matching
Reranking: Cross-encoder для ранжирования top-N результатов. Точнее, но дороже. ColBert, Cohere Rerank
Metadata Filtering: фильтрация до/после vector search
Query Transformation: генерируется гипотетический ответ, ищем по нему
Hierarchical Retrieval: Parent-child chunks, сначала ищем документ, а потом чанк внутри
Как оценить качество RAG?
Evaluation
Retrieval Metrics
Generation Metrics
Также используются инструменты для оценки RAG: RAGAS, TruLens (в основе подход LLM-as-judge)
Инструменты и библиотеки для RAG
Инструменты
Frameworks:
Vector DB:
Embedding Models:
Популярен ли RAG?
Применение RAG
Как можно улучшить RAG?
Best Practices
Начните с простого: LangChain + Chroma
Измеряйте качество при помощи RAGAS
Итерируйте: Chunking - Reranking - Advanced methods
Выводы
RAG - простой и мощный способ дать LLM доступ к актуальным, приватным знаниям.
Вопросы:
A: Качество чуть хуже английского, но не критично. Нужны multilingual embeddings
A: Нет, можно обойтись связкой Chroma/FAISS + запросы к Open AI API
Thanks for your attention!
Deer learning
presentation end
Далее:
а всё, больше нет ML :(
Теоретический минимум