1 of 65

Lecture 14.

From LSTM

to GPT

2 of 65

RNN: базовая идея.

Recap: RNN → LSTM

  • Последовательная обработка
  • Скрытое состояние переносит информацию
  • Используется для текста, временных рядов

​

3 of 65

Проблемы RNN.

Recap: RNN → LSTM

Vanishing / exploding gradients�Зависимость от предыдущих шагов

Нет параллелизма

​

4 of 65

LSTM: gated memory.

Recap: RNN → LSTM

Ячейка памяти�Forget / Input / Output gates�Лучше запоминает

локальный контекст

​

5 of 65

Почему и LSTM недостаточно?

Recap: RNN → LSTM

Длинные зависимости всё ещё сложные

Последовательные вычисления�Плохо масштабируется

​

6 of 65

Интуиция внимания.

Attention: ключевая идея

Гипотеза.

Контекст важнее расстояния во времени.

​

Идея.

Для каждого элемента последовательности:

  • явно выбрать, на что обращать внимание
  • агрегировать релевантную информацию

​

7 of 65

Интуиция внимания.

Attention: ключевая идея

Контекстное представление токена вычисляется как взвешенная сумма других токенов.

8 of 65

Формализация attention.

Attention: ключевая идея

Q: запрос�K: ключи�V: значения�softmax - распределение внимания

​

9 of 65

Формализация attention.

Attention: ключевая идея

10 of 65

Формализация attention.

Attention: ключевая идея

11 of 65

Формализация attention.

Attention: ключевая идея

12 of 65

Формализация attention.

Attention: ключевая идея

13 of 65

Seq2Seq без attention.

Encoder–Decoder Attention

Архитектура:

​

​

​

​

​

Вся важная информация сжимается в один вектор

14 of 65

Seq2Seq с attention.

Encoder–Decoder Attention

Контекст декодера:

​

​

​

​

Декодер получает динамический доступ к encoder states.

15 of 65

Seq2Seq с attention.

Encoder–Decoder Attention

16 of 65

Self-attention: определение

Self-Attention

Encoder и decoder - одна и та же последовательность.�Каждый токен взаимодействует со всеми.

​

17 of 65

Self-attention: схема

Self-Attention

18 of 65

Матрица внимания.

Self-Attention

Attention scores

​

​

​

Нормализация

​

​

Выход

19 of 65

Матрица внимания.

Self-Attention

20 of 65

Контекстуальные эмбеддинги.

Self-Attention

Свойство.

​

​

​

​

Каждый выходной вектор:

  • зависит от всей последовательности
  • меняется в зависимости от контекста

​

21 of 65

Глобальные зависимости

Почему attention превосходит RNN

Сравнение:

RNN - путь длины O(T)

Attention - путь длины O(1)

22 of 65

Параллелизм

Почему attention превосходит RNN

Сравнение:

RNN - O(T) шагов последовательно

Attention - один матричный оператор

23 of 65

Transformer: общая схема

Transformers

Multi-head self-attention�Feed-forward network�Residual connections�Layer normalization

​

24 of 65

Feed-Forward Network

Transformers

Применяется независимо к каждому токену

25 of 65

Positional Encoding

Transformers

Attention не учитывает порядок, поэтому появляется новый слой

26 of 65

Multi-Head Attention

Transformers

где каждая голова - отдельный attention.

27 of 65

Multi-Head Attention

Transformers

28 of 65

Self-attention summary

29 of 65

Encoder (Bidirectional Encoder �Representations from Tranformers).

Encoder vs Decoder

Bidirectional attention�Masked Language Modeling:

​

30 of 65

Encoder (Bidirectional Encoder �Representations from Tranformers).

Encoder vs Decoder

31 of 65

Decoder (Generative Pretrained Transformer).

Encoder vs Decoder

Masked self-attention:

​

Факторизация

32 of 65

Decoder (GPT).

Encoder vs Decoder

Masked self-attention:

​

Факторизация

33 of 65

Отличия BERT и GPT.

Encoder vs Decoder

34 of 65

GPT как вероятностная модель языка.

GPT: Decoder-Only Transformers

Языковая модель задаёт распределение на последовательностях:

​

​

​

Свойства:

  • Автогрегрессивная факторизация
  • Генерация слева направо
  • Каждое следующее слово зависит от всей истории

​

35 of 65

Masked Self-Attention в GPT.

GPT: Decoder-Only Transformers

Attention с маской:

​

​

​

Запрещён доступ к будущим токенам

Обеспечивает причинность (causality)

​

36 of 65

Обучение GPT.

GPT: Decoder-Only Transformers

Функция потерь:

​

​

​

Полностью self-supervised�Не требует разметки�Требует огромные корпуса текста

​

37 of 65

Генерация текста.

GPT: Decoder-Only Transformers

Sampling:

​

​

τ — temperature�Top-k / nucleus sampling ограничивают пространство выбора

​

​

38 of 65

Scaling Laws.

Почему Large Language Models работают?

Эмпирическое наблюдение.

Потери убывают по степенному закону:

​

​

N - число параметров

alpha ~ 0.07 - 0.1

​

Нет «насыщения»

Рост модели продолжает улучшать качество

​

39 of 65

Три оси масштабирования.

Почему Large Language Models работают?

Оптимальный баланс

​

​

N - параметры�D - объём данных�C - вычисления

​

Недостаток любой оси ограничивает рост качества.

40 of 65

Emergent Abilities.

Почему Large Language Models работают?

Способности, которые:

  • отсутствуют у малых моделей
  • внезапно появляются при масштабировании

​

Примеры:

Few-shot learning�Арифметика�Chain-of-Thought reasoning

​

41 of 65

Emergent Abilities.

Почему Large Language Models работают?

42 of 65

Почему Large Language Models работают?

43 of 65

Язык как универсальный интерфейс.

Почему Large Language Models работают?

Всё представляется в текстовой форме�Инструкции, знания и примеры в одном пространстве

​

Одна модель решает множество задач.

44 of 65

Hallucinations.

Ограничения GPT

Причина - Оптимизация правдоподобия:

​

​

​

Следствие:

Модель уверенно выдаёт ложные факты�Нет встроенной верификации

​

45 of 65

Параметры ≠ знания.

Ограничения GPT

Формально:

​

​

Проблемы:

Обновление знаний требует дообучения

Нет источников и ссылок

​

46 of 65

Ограниченное окно контекста.

Ограничения GPT

Ограничение:

​

​

Проблемы:

Невозможность обработать большие документы�Потеря глобального контекста

​

​

47 of 65

Вывод: мотивация для RAG

Ограничения GPT

Комбинация LLM+Retriever+External Knowledge

​

Приводит к Retrieval-Augmented Generation…

48 of 65

Проблемы LLM

RAG: зачем и для чего?

  1. Нет доступа к приватным данным
  2. Галлюцинации still exist..
  3. Знания заморожены: модель знает только то, на чем обучалась till cutoff date

​

Данные проблемы решает RAG

49 of 65

Retrieval Augmented Generation

RAG

RAG - подход, при котором LLM получает релевантную информацию из внешней базы знаний перед генерации ответа

​

Retrieval - поиск документов и актуальной информации

Augmented - дополнение промпта контекстом

Generation - генерация ответа с учетом контекста

50 of 65

RAG Pipeline

51 of 65

Разбиение документов на смысловые фрагменты

Step 1: Chunking

Подходы:

  1. Fixed-size chunks: по N токенов с overlap, может резать предложения
  2. Sentence-based: по предложениям/абзацам, сохраняется целостность
  3. Semantic chunking: смотрим на соседей

​

Что используем обычно на практике?

  • Chunk size: 200-1000
  • Overlap: 10-20%

52 of 65

Вектора..

Step 2: Embeddings

Основной смысл: превращаем текст в вектор фиксированной размерности. Семантически близкие тексты - близкие векторы в пространстве, imagine that

​

Что популярно среди embedding-моделей?

  • OpenAI - мой любимчик text-embedding-3-small
  • Sentence Transformers - бесплатные
  • E5/BGE - ну это уже SOTA🤩

53 of 65

БД для хранения и поиска векторов

Step 3: Vector Store

FAISS - библиотека от Meta🤗

  • In-memory
  • очень быстрая

Chroma

  • простая
  • free

Pinecone

  • managed cloud service
  • платно..

Qdrant

  • написан на Rust😎
  • быстро

Положили в Vector DB, а далее используем

ANN - алгоритм поиска похожих векторов.

Среди миллиона векторов ищет top-10 ближайших

54 of 65

Как найти похожие векторы?

Similarity Search

Cosine Similarity!

​

Измеряет угол между векторами. Самая популярная метрика.

​

Top-K Retrieval: возвращаем K самых похожих чанков.

Типичные значения для K: 3-10

55 of 65

Финальный этап

Generation

Формируем промпт и отправляем в LLM.

​

Пример промпта:

System: Ты полезный ассистент. Отвечай ТОЛЬКО на основе предоставленного контекста.

Если ответа нет в контексте — скажи "Я не нашёл информации по этому вопросу".

Context: [чанк 1] [чанк 2] [чанк 3]

Question: [вопрос пользователя]

Answer:

​

56 of 65

Cons of RAG Systems

Problems

Плохой Retrieval: вытаскиваются нерелевантные чанки. Причина: плохой чанкинг и/или эмбединги

Lost in the Middle: LLM запоминает хорошо начало и конец, но в середине ей плохо

Context Overflow: too much чанков, не влезают в контекстное окно

Потеря контекста: опять же из-за чанкинга

Галлюцинации: still exist..

Latency: вот он критичен для приложений в рил тайме

​

57 of 65

Как можем его улучшить?

Advanced RAG

Hybrid Search: Dense (embeddings) + Sparse(BM25). Семантика и keyword matching

Reranking: Cross-encoder для ранжирования top-N результатов. Точнее, но дороже. ColBert, Cohere Rerank

Metadata Filtering: фильтрация до/после vector search

Query Transformation: генерируется гипотетический ответ, ищем по нему

Hierarchical Retrieval: Parent-child chunks, сначала ищем документ, а потом чанк внутри

58 of 65

Как оценить качество RAG?

Evaluation

Retrieval Metrics

  1. Precision@K - доля релевантных среди top-k. Сколько из найденного полезно?
  2. Recall@K - доля найденных из всех релевантных. Нашли ли всё нужное?

​

Generation Metrics

  1. Faithfulness
  2. Answer Relevance
  3. Context Relevance

​

Также используются инструменты для оценки RAG: RAGAS, TruLens (в основе подход LLM-as-judge)

​

​

59 of 65

Инструменты и библиотеки для RAG

Инструменты

Frameworks:

  1. LangChain
  2. LlamaIndex

​

Vector DB:

  1. Chroma
  2. Pinecone
  3. FAISS
  4. Qdrant

Embedding Models:

  1. OpenAI
  2. Cohere
  3. Sentence Transformers

60 of 65

Популярен ли RAG?

Применение RAG

  1. Чат-боты поддержки
  2. Q&A по документам
  3. News Assistant
  4. Code Assistant
  5. Medical AI

61 of 65

Как можно улучшить RAG?

Best Practices

  1. Экспериментируйте с чанками
  2. Добавьте метаданные - источники, дата, категории
  3. Оценивайте поэтапно
  4. Не игнорируйте preprocessing
  5. Не полагайтесь только на cosine similarity, используйте hybrid search

​

Начните с простого: LangChain + Chroma

Измеряйте качество при помощи RAGAS

Итерируйте: Chunking - Reranking - Advanced methods

62 of 65

Выводы

RAG - простой и мощный способ дать LLM доступ к актуальным, приватным знаниям.

​

Вопросы:

  1. Q: RAG на русском работает хуже?

A: Качество чуть хуже английского, но не критично. Нужны multilingual embeddings

  • Q: Обязателен ли LangChain?

A: Нет, можно обойтись связкой Chroma/FAISS + запросы к Open AI API

63 of 65

Thanks for your attention!

64 of 65

Deer learning

presentation end

Далее:

а всё, больше нет ML :(

65 of 65

  • ЭТО КОНЕЦ

Теоретический минимум