Исследование методов распознавания эмоций в речи

Студент 5 курса механико-математического факультета МГУ им. М.В.Ломоносова

Кутузов Олег

Курс «Нейронные сети и их применение в научных исследованиях»

Нейросети, распознающие эмоции в речи человека могут быть применены в:

• Понимании эмоций и психологии людей
• Создании виртуальных помощников
• Повышении эффективности колл-центров
• Сборе информации о настроении клиентов, покупателей

Исследование методов распознавания эмоции в речи

Цель и объект исследования:

• Исследовать существующий открытый набор данных DUSHA.
• Исследовать существующие предобученные модели для применения в задаче распознавания эмоций.
• Исследовать различные гиперпараметры при обучении моделей распознавания эмоций.
• На основе модели с наилучшим качеством, разработать алгоритм распознавания эмоций.

​

Исследование методов распознавания эмоции в речи

Актуальность и новизна:

• развитие речевых технологий: новые подходы, архитектуры и датасеты
• до DUSHA была нехватка открытых размеченных данных на русском языке
• DUSHA - самый большой датасет на русском языке с качественной разметкой – возможность реализовать более качественные решения, используя новейшие архитектуры.

Исследование методов распознавания эмоции в речи

Исследование методов распознавания эмоции в речи

SOTA нейросети

Wav2vec2.0

Исследование методов распознавания эмоции в речи

SOTA нейросети

Conformer

Исследование методов распознавания эмоции в речи

SOTA нейросети

HuBERT

Исследование методов распознавания эмоции в речи

SOTA нейросети

Data2vec

Исследование методов распознавания эмоции в речи

Данные датасета Dusha

a) Распределение длин аудиозаписей в датасете

b) Распределение классов эмоций �

​

​

Данные

Podcast

Crowd

а) b)

Исследование методов распознавания эмоции в речи

Данные

Исследование методов распознавания эмоции в речи

AddGaussianNoise

Аугментации

TimeStretch

TanhDistortion

Метрики

Дисбаланс классов

• Unweighted Accuracy (UA)
• Weighted Accuracy (WA)
• Weighted Recall (WR)
• Macro Precision (MP)
• Weighted Precision (WP)
• macro F1 score (F1)
• Weighted F1 score (WF1)

Исследование методов распознавания эмоции в речи

Loss

• Negative log likelihood loss
• Squentropy loss

Исследование методов распознавания эмоции в речи

Семплер

• WeightedRandomSampler

Исследование методов распознавания эмоции в речи

Обработка аудио

• Паддинг нулями до длительности 10 сек.
• Если длительность выше, обрезался.
• Зацикливание аудио не дает профита

Исследование методов распознавания эмоции в речи

Обработка датасета

Модель учится лучше, если агрегировать данные с порогом 0.8 для алгоритма DawidSkene

Исследование методов распознавания эмоции в речи

Оптимизаторы

• AdamW
• Lion

​

Исследование методов распознавания эмоции в речи

Исследование методов распознавания эмоции в речи

Эксперименты

Исследование методов распознавания эмоции в речи

Эксперименты

Исследование методов распознавания эмоции в речи

Эксперименты

Исследование методов распознавания эмоции в речи

1. Модель Conformer обучалась 25 эпох ∼40 часов на 1 видеокарте Tesla V100 32 GB.
2. Обучение проходило с размером батча — 16 звуковых фрагментов без накопления градиентов.
3. WeightedRandomSampler.
4. Lion: learning rate = 10−5, betas = (0.9, 0.99), weight decay = 0.
5. К выходу энкодера был добавлен слой AvgPool2d 8x100.
6. FC классификационная голова.

Как учился Conformer

Исследование методов распознавания эмоции в речи

Как учился Conformer

Исследование методов распознавания эмоции в речи

Итог

Исследование методов распознавания эмоции в речи

• Исследованы различные способы агрегаций сырых данных DUSHA и аугментаций.
• Исследована предобученная модель Conformer, с метрикой F1 score = 0.8.
• Подобраны гиперпараметры дающие максимальные материки качества.
• Алгоритм распознавания эмоций, доступен по следующей ссылке https://github.com/KKKutuzov/dusha_conformer

​

Заключение