Автоматическое распознавание речи.
Языковые модели
П. А. Холявин
p.kholyavin@mail.ru
12.03.2024
1
Задача распознавания речи
Если O = o1, o2, …, on – звуковая последовательность,
W = w1, w2, …, wn – последовательность слов, то
2
Языковые модели
Отвечают за P(W)
3
Статистические ЯМ
P(wi) – униграммы
P(wi|wi-1) – биграммы
три-, тетра-, …
4
Вычисление N-грамм
<s> John read a book </s>
<s> I read a different book </s>
<s> John read a book by Mulan </s>
P(John read a book) = P(John|<s>) * P(read|John) * P(a|read) * P(book|a) * P(</s>|book)
P(Mulan read a book) = P(Mulan|<s>) * … = 0
5
Перплексия модели
(коэффициент неопределённости)
Вычисляется на тестовой последовательности длиной N. Чем ниже перплексия, тем лучше модель.
Перплексия связана с кросс-энтропией:
6
Сглаживание N-грамм
1. Сглаживание Лапласа (Laplace smoothing, add-1 smoothing)
7
Сглаживание N-грамм
<s> John read a book </s>
<s> I read a different book </s>
<s> John read a book by Mulan </s>
8
Сглаживание N-грамм
2. Плюс-k сглаживание
9
Сглаживание N-грамм
3. Откат и интерполяция
10
Сглаживание N-грамм
а) Откат Катца
11
б) Сглаживание Гуда-Тьюринга
где nr – количество n-грамм, встретившихся ровно r раз
Сглаживание N-грамм
12
в) Сглаживание Кнезера-Нея
Сглаживание N-грамм
13
г) “Глупый” откат (stupid backoff)
Сглаживание N-грамм
14
Классовые модели
Членами этих моделей являются не конкретные слова, а классы слов.
Классы могут быть:
15
Морфемные модели
Модель основа (s)/флексия (e):
16
Адаптивные модели
Интерполяция статической и локальной динамической (кэш) моделей
17
Адаптивные модели
TF-IDF модель
18
Сравнение моделей
19
Нейронные модели
20
Формальные модели
21
Произносительные словари
22
Представление лексикона как дерева
23
Практическое задание
24
Спасибо за внимание!
25