Автоматическое распознавание речи.
Языковые модели
П. А. Холявин
p.kholyavin@spbu.ru
1
Задача распознавания речи
Если O = o1, o2, …, on – звуковая последовательность,
W = w1, w2, …, wn – последовательность слов, то
2
Языковые модели
Отвечают за P(W)
3
Статистические ЯМ
P(wi) – униграммы
P(wi|wi-1) – биграммы
три-, тетра-, …
4
Вычисление N-грамм
<s> John read a book </s>
<s> I read a different book </s>
<s> John read a book by Mulan </s>
P(John read a book) =
5
Вычисление N-грамм
<s> John read a book </s>
<s> I read a different book </s>
<s> John read a book by Mulan </s>
P(John read a book) = P(John|<s>) * P(read|John) * P(a|read) * P(book|a) * P(</s>|book)
P(Mulan read a book) =
6
Вычисление N-грамм
<s> John read a book </s>
<s> I read a different book </s>
<s> John read a book by Mulan </s>
P(John read a book) = P(John|<s>) * P(read|John) * P(a|read) * P(book|a) * P(</s>|book)
P(Mulan read a book) = P(Mulan|<s>) * … = 0
7
Перплексия модели
(коэффициент неопределённости)
Вычисляется на тестовой последовательности длиной N. Чем ниже перплексия, тем лучше модель.
Перплексия связана с кросс-энтропией:
8
Сглаживание N-грамм
1. Сглаживание Лапласа (Laplace smoothing, add-1 smoothing)
9
Сглаживание N-грамм
<s> John read a book </s>
<s> I read a different book </s>
<s> John read a book by Mulan </s>
10
Сглаживание N-грамм
2. Плюс-k сглаживание
11
Сглаживание N-грамм
3. Откат и интерполяция
12
Сглаживание N-грамм
а) Откат Катца
13
б) Сглаживание Гуда-Тьюринга
где nr – количество n-грамм, встретившихся ровно r раз
Сглаживание N-грамм
14
в) Сглаживание Кнезера-Нея
Сглаживание N-грамм
15
г) “Глупый” откат (stupid backoff)
Сглаживание N-грамм
16
Классовые модели
Членами этих моделей являются не конкретные слова, а классы слов.
Классы могут быть:
17
Морфемные модели
Модель основа (s)/флексия (e):
18
Адаптивные модели
Интерполяция статической и локальной динамической (кэш) моделей
19
Адаптивные модели
TF-IDF модель
20
Сравнение моделей
21
Нейронные модели
22
Формальные модели
проехать
один
два
три
метра
направо
налево
вперёд
назад
метр
23
Формальные модели
24
Спасибо за внимание!
25