1 of 48

Lecture 11.

Deep Learning

2 of 48

Что такое нейросеть?

Введение в нейросети

Нейросеть - это параметрическая функция:

θ - все веса и смещения.

На вход подаётся вектор признаков.

На выходе может быть что угодно:

  • вероятности классов
  • регрессионное значение
  • вектор признаков, embedding и т.д.

3 of 48

Причем тут нейроны?

Введение в нейросети

4 of 48

Пример нейросети.

Введение в нейросети

Простая полносвязная нейросеть с одним скрытым слоем:

5 of 48

Где используется глубокое обучение?

Введение в нейросети

Компьютерное зрение: классификация, детекция, сегментация

Natural Language processing: машинный перевод, языковые модели,

чат-боты

RecSys: рекомендательные системы

Речь: распознавание, синтез

​

Игры, управление, Reinforcement learning и многое другое…

6 of 48

Архитектура многослойного “перцептрона”.

Введение в нейросети

Многослойный перцептрон (MLP, fully-connected network):

Каждый слой состоит из линейного преобразования + нелинейности.

7 of 48

Линейная модель, как базовый “строительный блок”.

Линейные модели

Линейный классификатор / регрессор:

Геометрическая интерпретация: гиперплоскость в пространстве

8 of 48

Ограничения линейности.

Линейные модели

Линейная модель может разделить только линейно-разделимые данные.

Если классы имеют сложную геометрию - одно прямой или плоскости не хватит.

9 of 48

Пример - Задача XOR.

Линейные модели

Вход:

Выход:

Система:

Неразрешима :(

10 of 48

Зачем нелинейность?

Линейные модели

Если нет нелинейных активаций, то MLP вырождается в одну линейную модель.

Два последовательных слоя:

Объединяем:

​

​

Без нелинейностей глубина бессмысленна.

11 of 48

Теорема Цыбенко (Cybenko 1989).

Нелинейные преобразования

Линейный слой + нелинейность могут многократно «перекраивать» входное пространство.

Граница в исходном пространстве становится почти линейной в пространстве признаков последнего слоя.

12 of 48

Теорема Цыбенко (Cybenko 1989).

Нелинейные преобразования

Однослойная нейросеть с достаточным числом нейронов и «хорошей» нелинейной активацией может аппроксимировать любую непрерывную функцию на компактном множестве с любой точностью.

Сеть вида:

​

​

может аппроксимировать любую непрерывную функцию f на

13 of 48

Теорема Цыбенко (Cybenko 1989).

Нелинейные преобразования

Сеть вида:

​

​

может аппроксимировать любую непрерывную функцию f на

​

Теоретически глубина не обязательна, но на практике глубокие сети гораздо эффективнее по параметрам и обучению.

14 of 48

Интуиция.

Функции активации

Функция активации добавляет нелинейность.

​

На вход нейрон получает сырое число x.

Функция активации превращает это число в силу выходного сигнала.

​

Маленький x - слабый сигнал или отсутствие сигнала.

Большой x - сильный сигнал передаётся дальше по сети.

15 of 48

Обзор.

Функции активации

Функция активации добавляет нелинейность.

​

Требования:

– вычислительная простота

– ненасыщенность (желательно)

– дифференцируемость (почти везде)

16 of 48

Пример.

Функции активации

Функция активации добавляет нелинейность.

17 of 48

Sigmoid.

Функции активации

Значения в (0,1).

Исторически использовалась в скрытых слоях.

​

Проблемы:

– градиенты затухают при больших |x|,

– выход не центрирован (среднее > 0).

​

Используем, когда хотим получить вероятности.

18 of 48

Tanh.

Функции активации

Значения в (0,1).

Центрирована: среднее ближе к 0.�Всё ещё есть проблема затухающего градиента.

​

Используются в рекуррентных нейронных сетях и autoencoder’ах.

19 of 48

ReLu.

Функции активации

Простая и дешевая вычислительно.�Нет насыщения в положительной области → нет сильного затухания градиента для x>0.

​

Проблемы:

«Мёртвые ReLU»: если нейрон ушёл в область сильно отрицательных весов, он может перестать обновляться (градиент 0).

Неограниченность сверху.

20 of 48

Leaky ReLu.

Функции активации

Оставим небольшой наклон в отрицательной области, чтобы нейрон не умирал полностью.

​

Используется в некоторых архитектурах (GAN, некоторые CNN).

21 of 48

GELU.

Функции активации

«Плавное» стохастическое включение нейронов.

Популярна в трансформерах (BERT, Vision Transformers).

​

GELU часто дает небольшой выигрыш по качеству в современных архитектурах.

​

22 of 48

Почему последний слой - другой.

Функции активации

Внутренние слои: часто ReLU / GELU (нейросеть строит абстрактные признаки).

​

Выходной слой: должен соответствовать смыслу задачи:

– бинарная классификация → sigmoid + BCE,

– мультикласс → softmax + CE,

– регрессия → линейный выход + MSE/MAE.

​

​

23 of 48

BCE для бинарной классификации.

Функции потерь

Лосс:

​

​

​

Негативный логарифм правдоподобия Бернулли.

Multilabel:

​

​

24 of 48

Cross-Entropy для мультикласса

Функции потерь

y - One-Hot или метка класса c.

Модель выдаёт логиты z, SoftMax даёт вероятности p.

25 of 48

Лоссы для регрессии.

Функции потерь

MSE:

​

​

MAE:

​

​

Huber:

26 of 48

Focal-Loss при дисбалансе классов.

Функции потерь

При большом дисбалансе (редкие классы) BCE/CE фокусируются на простых примерах и игнорируют редкие.

​

​

​

Множители уменьшают вклад “легких” примеров.

27 of 48

Связь активации и функции потерь.

Функции потерь

Лосс измеряет, насколько предсказание сети отличается от «правды».

​

Правильная пара «активация + лосс» кодирует вероятностную модель:

– sigmoid + BCE ⇔ Бернулли,

– softmax + CE ⇔ категор. распределение,

– линейный выход + MSE ⇔ нормальное распределение.

28 of 48

Обучение = минимизация функции потерь.

Обучение, как оптимизация

Нам дана обучающая выборка, модель и лосс.

Тогда задача формулируется так:

29 of 48

Loss landscape.

Обучение, как оптимизация

30 of 48

Стохастический градиент.

Обучение, как оптимизация

Полный градиент:

​

​

​

�Батчевый:

31 of 48

Вычислительный граф

Backpropagation

Любое вычисление в сети можно представить как ориентированный ациклический граф:

​

​

​

​

​

Forward pass: вычисление значений по графу.

Backward pass: вычисление градиентов по графу.

32 of 48

Локальные производные и цепное правило.

Backpropagation

Основная идея backprop: градиент сложной композиции можно получить по цепному правилу, используя локальные производные.

​

Пусть

�Тогда

33 of 48

Локальные производные и цепное правило.

Backpropagation

Основная идея backprop: градиент сложной композиции можно получить по цепному правилу, используя локальные производные.

​

Для сети:

​

При Backprop:

​

​

выражается через

​

34 of 48

Локальные производные и цепное правило.

Backpropagation

35 of 48

Локальные производные и цепное правило.

Backpropagation

Наивно: вычислять градиент по каждому параметру отдельно - слишком дорого.

​

Backprop переиспользует промежуточные вычисления:

– один forward,

– один backward.

36 of 48

Градиентный спуск и SGD.

Основные оптимизаторы

– медленный спуск по плато

– чувствительность к масштабу признаков

– выбор learning rate.

37 of 48

Momentum.

Основные оптимизаторы

Ускоряет движение вдоль «пологих» направлений.�Сглаживает шум стохастического градиента.

​

38 of 48

RMSProp (адаптивный шаг).

Основные оптимизаторы

Масштабируем шаг по координатам в зависимости от накопленной квадратичной величины градиента.

​

Координаты с большим градиентом получают меньший шаг, с маленьким - больший.

39 of 48

Adam.

Основные оптимизаторы

Хорошо работает «из коробки», поэтому де-факто стандарт.�Но есть нюансы генерализации: иногда чистый SGD+Momentum даёт лучшее обобщение.

40 of 48

Различия в поведении и генерализации.

Основные оптимизаторы

SGD + Momentum:� чаще дают лучшее обобщение,� чувствительные к LR, но понятные�Adam / RMSProp:� быстрее сходятся в начале,� удобно при разреженных градиентах / сильно разном масштабе признаков,� иногда требуют ручной fine-tuning для хорошей генерализации (например, снижать LR ближе к концу обучения).

​

41 of 48

Различия в поведении и генерализации.

Основные оптимизаторы

42 of 48

Почему learning rate так важен?

Learning Rate и скедулеры

43 of 48

Step Decay.

Learning Rate и скедулеры

s - шаг (через сколько эпох уменьшать).

​

Хорошо работает, если вручную заданы точки уменьшения.

​

44 of 48

Cosine annealing.

Learning Rate и скедулеры

T - общее число шагов.

​

​

Плавное уменьшение шага до маленького значения.�Иногда сочетают с рестартами.

​

Полезен при больших батчах и сложных архитектурах

45 of 48

Warmup.

Learning Rate и скедулеры

В начале обучения градиенты могут быть нестабильными.�Warmup: постепенно увеличиваем η от маленького до целевого значения за несколько первых эпох.

​

46 of 48

Сравнение.

Learning Rate и скедулеры

47 of 48

Deer learning

presentation end

Далее:

BackProp и вглубь DL

48 of 48

  • всё, что в презентации было…

Теоретический минимум