Lecture 11.
Deep Learning
Что такое нейросеть?
Введение в нейросети
Нейросеть - это параметрическая функция:
θ - все веса и смещения.
На вход подаётся вектор признаков.
На выходе может быть что угодно:
Причем тут нейроны?
Введение в нейросети
Пример нейросети.
Введение в нейросети
Простая полносвязная нейросеть с одним скрытым слоем:
Где используется глубокое обучение?
Введение в нейросети
Компьютерное зрение: классификация, детекция, сегментация
Natural Language processing: машинный перевод, языковые модели,
чат-боты
RecSys: рекомендательные системы
Речь: распознавание, синтез
Игры, управление, Reinforcement learning и многое другое…
Архитектура многослойного “перцептрона”.
Введение в нейросети
Многослойный перцептрон (MLP, fully-connected network):
Каждый слой состоит из линейного преобразования + нелинейности.
Линейная модель, как базовый “строительный блок”.
Линейные модели
Линейный классификатор / регрессор:
Геометрическая интерпретация: гиперплоскость в пространстве
Ограничения линейности.
Линейные модели
Линейная модель может разделить только линейно-разделимые данные.
Если классы имеют сложную геометрию - одно прямой или плоскости не хватит.
Пример - Задача XOR.
Линейные модели
Вход:
Выход:
Система:
Неразрешима :(
Зачем нелинейность?
Линейные модели
Если нет нелинейных активаций, то MLP вырождается в одну линейную модель.
Два последовательных слоя:
Объединяем:
Без нелинейностей глубина бессмысленна.
Теорема Цыбенко (Cybenko 1989).
Нелинейные преобразования
Линейный слой + нелинейность могут многократно «перекраивать» входное пространство.
Граница в исходном пространстве становится почти линейной в пространстве признаков последнего слоя.
Теорема Цыбенко (Cybenko 1989).
Нелинейные преобразования
Однослойная нейросеть с достаточным числом нейронов и «хорошей» нелинейной активацией может аппроксимировать любую непрерывную функцию на компактном множестве с любой точностью.
Сеть вида:
может аппроксимировать любую непрерывную функцию f на
Теорема Цыбенко (Cybenko 1989).
Нелинейные преобразования
Сеть вида:
может аппроксимировать любую непрерывную функцию f на
Теоретически глубина не обязательна, но на практике глубокие сети гораздо эффективнее по параметрам и обучению.
Интуиция.
Функции активации
Функция активации добавляет нелинейность.
На вход нейрон получает сырое число x.
Функция активации превращает это число в силу выходного сигнала.
Маленький x - слабый сигнал или отсутствие сигнала.
Большой x - сильный сигнал передаётся дальше по сети.
Обзор.
Функции активации
Функция активации добавляет нелинейность.
Требования:
– вычислительная простота
– ненасыщенность (желательно)
– дифференцируемость (почти везде)
Пример.
Функции активации
Функция активации добавляет нелинейность.
Sigmoid.
Функции активации
Значения в (0,1).
Исторически использовалась в скрытых слоях.
Проблемы:
– градиенты затухают при больших |x|,
– выход не центрирован (среднее > 0).
Используем, когда хотим получить вероятности.
Tanh.
Функции активации
Значения в (0,1).
Центрирована: среднее ближе к 0.�Всё ещё есть проблема затухающего градиента.
Используются в рекуррентных нейронных сетях и autoencoder’ах.
ReLu.
Функции активации
Простая и дешевая вычислительно.�Нет насыщения в положительной области → нет сильного затухания градиента для x>0.
Проблемы:
«Мёртвые ReLU»: если нейрон ушёл в область сильно отрицательных весов, он может перестать обновляться (градиент 0).
Неограниченность сверху.
Leaky ReLu.
Функции активации
Оставим небольшой наклон в отрицательной области, чтобы нейрон не умирал полностью.
Используется в некоторых архитектурах (GAN, некоторые CNN).
GELU.
Функции активации
«Плавное» стохастическое включение нейронов.
Популярна в трансформерах (BERT, Vision Transformers).
GELU часто дает небольшой выигрыш по качеству в современных архитектурах.
Почему последний слой - другой.
Функции активации
Внутренние слои: часто ReLU / GELU (нейросеть строит абстрактные признаки).
Выходной слой: должен соответствовать смыслу задачи:
– бинарная классификация → sigmoid + BCE,
– мультикласс → softmax + CE,
– регрессия → линейный выход + MSE/MAE.
BCE для бинарной классификации.
Функции потерь
Лосс:
Негативный логарифм правдоподобия Бернулли.
Multilabel:
Cross-Entropy для мультикласса
Функции потерь
y - One-Hot или метка класса c.
Модель выдаёт логиты z, SoftMax даёт вероятности p.
Лоссы для регрессии.
Функции потерь
MSE:
MAE:
Huber:
Focal-Loss при дисбалансе классов.
Функции потерь
При большом дисбалансе (редкие классы) BCE/CE фокусируются на простых примерах и игнорируют редкие.
Множители уменьшают вклад “легких” примеров.
Связь активации и функции потерь.
Функции потерь
Лосс измеряет, насколько предсказание сети отличается от «правды».
Правильная пара «активация + лосс» кодирует вероятностную модель:
– sigmoid + BCE ⇔ Бернулли,
– softmax + CE ⇔ категор. распределение,
– линейный выход + MSE ⇔ нормальное распределение.
Обучение = минимизация функции потерь.
Обучение, как оптимизация
Нам дана обучающая выборка, модель и лосс.
Тогда задача формулируется так:
Loss landscape.
Обучение, как оптимизация
Стохастический градиент.
Обучение, как оптимизация
Полный градиент:
�Батчевый:
Вычислительный граф
Backpropagation
Любое вычисление в сети можно представить как ориентированный ациклический граф:
Forward pass: вычисление значений по графу.
Backward pass: вычисление градиентов по графу.
Локальные производные и цепное правило.
Backpropagation
Основная идея backprop: градиент сложной композиции можно получить по цепному правилу, используя локальные производные.
Пусть
�Тогда
Локальные производные и цепное правило.
Backpropagation
Основная идея backprop: градиент сложной композиции можно получить по цепному правилу, используя локальные производные.
Для сети:
При Backprop:
выражается через
Локальные производные и цепное правило.
Backpropagation
Локальные производные и цепное правило.
Backpropagation
Наивно: вычислять градиент по каждому параметру отдельно - слишком дорого.
Backprop переиспользует промежуточные вычисления:
– один forward,
– один backward.
Градиентный спуск и SGD.
Основные оптимизаторы
– медленный спуск по плато
– чувствительность к масштабу признаков
– выбор learning rate.
Momentum.
Основные оптимизаторы
Ускоряет движение вдоль «пологих» направлений.�Сглаживает шум стохастического градиента.
RMSProp (адаптивный шаг).
Основные оптимизаторы
Масштабируем шаг по координатам в зависимости от накопленной квадратичной величины градиента.
Координаты с большим градиентом получают меньший шаг, с маленьким - больший.
Adam.
Основные оптимизаторы
Хорошо работает «из коробки», поэтому де-факто стандарт.�Но есть нюансы генерализации: иногда чистый SGD+Momentum даёт лучшее обобщение.
Различия в поведении и генерализации.
Основные оптимизаторы
SGD + Momentum:� чаще дают лучшее обобщение,� чувствительные к LR, но понятные�Adam / RMSProp:� быстрее сходятся в начале,� удобно при разреженных градиентах / сильно разном масштабе признаков,� иногда требуют ручной fine-tuning для хорошей генерализации (например, снижать LR ближе к концу обучения).
Различия в поведении и генерализации.
Основные оптимизаторы
Почему learning rate так важен?
Learning Rate и скедулеры
Step Decay.
Learning Rate и скедулеры
s - шаг (через сколько эпох уменьшать).
Хорошо работает, если вручную заданы точки уменьшения.
Cosine annealing.
Learning Rate и скедулеры
T - общее число шагов.
Плавное уменьшение шага до маленького значения.�Иногда сочетают с рестартами.
Полезен при больших батчах и сложных архитектурах
Warmup.
Learning Rate и скедулеры
В начале обучения градиенты могут быть нестабильными.�Warmup: постепенно увеличиваем η от маленького до целевого значения за несколько первых эпох.
Сравнение.
Learning Rate и скедулеры
Deer learning
presentation end
Далее:
BackProp и вглубь DL
Теоретический минимум