ОЦЕНКА

КАЧЕСТВА

ОБУЧЕНИЯ

НЕЙРОСЕТИ

АКТИВАЦИОННЫЕ

ФУНКЦИИ

ИСКУССТВЕННЫЙ

НЕЙРОН

Маккалок Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности // Автоматы. М.: ИЛ, 1956

# Входной полносвязный слой

model.add(Dense(800, input_dim=784, activation="relu"))

​

# Выходной полносвязный слой

model.add(Dense(10, activation="softmax"))

MNIST

НЕЙРОСЕТЬ ДЛЯ

Полулинейная функция (RELU)

Rectified Linear Unit

(ReLU)

(softmax)

ФУНКЦИЯ МЯГКОГО МАКСИМУМА

- количество нейронов в слое

- выходное значение i-го нейрона до активации

Почему

Softmax?

Источник: https://datascience.stackexchange.com/questions/23159/in-softmax-classifier-why-use-exp-function-to-do-normalization

Требования к функции активации для задач классификации:

• Выходные значения нейронов в диапазоне от 0 до 1, и в сумме должны давать единицу
• Функция должна быть дифференцируема

Пример:

• Выходные значений нейронов: [2, 4, 2, 1]
• Жесткий максимум: [0, 1, 0, 0]
• Простая нормализация: [0.2222, 0.4444, 0.2222, 0.1111]
• Мягкий максимум: [0.1025, 0.7573, 0.1025, 0.0377]

График

exp(x)

Bias

В НЕЙРОНАХ

МОДЕЛЬ

ИСКУСТВЕННОГО НЕЙРОНА

СМЕЩЕНИЕ

В НЕЙРОННЫХ СЕТЯХ

СМЕЩЕНИЕ

В НЕЙРОННЫХ СЕТЯХ

ОБУЧАЮЩАЯ, ПРОВЕРОЧНАЯ И ТЕСТОВАЯ ВЫБОРКИ

Подбор гипер-параметров модели

Параметры модели машинного обучения

• Изменяются в процессе обучения
• Для нейронной сети – веса входов в нейроны

Гиперпараметры модели

• Не меняются в процессе обучения
• Влияют на конфигурацию модели и методы обучения
• Для нейронной сети – количество слоев, количество нейронов на слое, скорость обучения, размер мини-выборки

Подбор гиперпараметров

• Обучение на обучающей выборке, проверка на тестовой, изменение гиперпараметров
• Переобучение на тестовую выборку

Наборы данных

для обучения

• Обучающая выборка (training set) – набор данных, который используется для обучения сети
• Проверочная выборка (validation set) – набор данных, который используется в процессе обучения для оценки качества обучения
• Тестовая выборка (test set) – набор данных, который используется для оценки качества работы сети после завершения обучения

НАБОРЫ ДАННЫХ

ДЛЯ ОБУЧЕНИЯ

Демонстрация использования обучающей, проверочной и тестовой выборок в Keras

Схема обучения нейронной сети

Делим данные на три набора

• Обучающий, проверочный, тестовый

Обучаем модель на обучающем и проверочном наборе

• Для подбора гиперпараметров используем проверочный набор
• В процессе обучения мониторим качество на обучающем и проверочном наборе
• Если качество на обучающем наборе растет, а на проверочном падает – началось переобучение

Проверка обобщающей способности сети

• Оценка качества работы на тестовом наборе данных, которые сеть не видела в процессе обучения

ПЕРЕОБУЧЕНИЕ

• Нейронная сеть распознает цифры, которые она видела, с точностью 100%
• Это хорошо или плохо?

Точность распознавания

Проблема

переобучения

Сеть может научиться распознавать особенности выборки, а не данных

• Маленькая база
• Плохо собранная база
• Слишком сложная архитектура сети
• Разбалансировка базы

Причины переобучения

• Увеличивать базу
• Чистить базу
• Делать проще архитектуру сети
• Делать проще параметризацию данных
• Нормализовать данные
• Использовать Dropout
• Использовать BatchNormalization

Как бороться с переобучением

СЛОЙ DROPOUT

Dropout

СЛОЙ

Dropout

СЛОЙ

Dropout

СЛОЙ

Dropout

СЛОЙ

# Входной полносвязный слой

model.add(Dense(800, input_dim=784, activation="relu"))

# Слой Dropout

model.add(Dropout(0.5))

# Выходной полносвязный слой

model.add(Dense(10, activation="softmax"))

Dropout в Keras

​

СЛОЙ DROPOUT

Статья с подробным описанием Dropout:

• Dropout: A Simple Way to Prevent Neural Networks from Overfitting. http://www.jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf

Предотвращение переобучения:

• Разделение данных на три набора: обучающий, проверочный, тестовый
• Слои Dropout и BatchNormalization
• Упрощение архитектуры сети
• Уменьшение шага обучения

Слой BatchNormalization

Нормализация

Виды нормализации

• Данные в диапазоне от 0 до 1
• Данные со средним значением в 0 и стандартным отклонением 1

Алгоритмы машинного обучения лучше работают с данными в нормализованном виде

ПАКЕТНАЯ

НОРМАЛИЗАЦИЯ

Выполняется на уровне мини-выборки

​

Рассчитывается по формулам:

​

параметры, которые сеть изучает в процессе обучения

model = Sequential()

model.add(BatchNormalization(input_shape=(28, 28, 1)))

model.add(Conv2D(32, (3, 3), padding='same', activation='relu'))

model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Dropout(0.25))

​

model.add(BatchNormalization())

model.add(Conv2D(64, (3, 3), padding='same', activation='relu'))

model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Dropout(0.25))

Пакетная нормализация

в Keras

​

СПАСИБО

ЗА ВНИМАНИЕ