Распознавание речи.

Произносительные словари

​

​

​

​

​

​

П. А. Холявин

​

p.kholyavin@spbu.ru

​

​

​

13.03.2024

1

Произносительные словари

​

2

Представление лексикона как дерева

​

Допустим, у нас есть слова ban, band, banned, bat, beef. Как будет выглядеть дерево?

3

Методы создания словарей

​

1. Экспертный

​

2. Автоматический (grapheme-to-phoneme, G2P)

а) по правилам

б) с помощью машинного обучения

в) с помощью систем распознавания речи

​

3. Гибридный (?)

4

Автоматическая транскрипция

​

G2P (Grapheme-to-Phoneme)

​

1. Определение фонемного состава (а какие фонемы?)

​

• Определение фонетического качества звуков

​

​

+ проблема вариативности: какой вариант выбрать для системы?

​

5

Вариативность

​

6

Фонемная транскрипция

​

1) По словарю

7

Фонемная транскрипция

​

2) По правилам

​

Правила могут кодироваться в конечных автоматах, …

8

Фонемная транскрипция

​

3) Статистические методы и машинное обучение:

​

• Марковские цепи
• FST (конечные автоматы)
• Нейронные сети: LSTM, трансформеры, …

9

Стыки слов

​

Кот бежит /kod bʲiʒɨt/

​

Отец дома /atʲe[dz] dóma/

​

Раз в жизни /raʒ (v) ʒɨzʲnʲi/

10

Фонетическая транскрипция

​

1. Отражение коартикуляции звуков, влияние ударения

​

• Стили произношения и типы произнесения

​

Типы произнесения: полный и неполный (невозможно восстановить фонемный состав)

​

[ɡəvɐˈrʲit]

[ɡəˈrʲit]

[ɡrʲit]

​

3. Влияние других просодических явлений

11

Взвешенные конечные преобразователи (WFST)

​

1. Конечный автомат (finite-state acceptor)

​

​

​

​

​

​

• Конечный преобразователь (finite-state transducer)

12

Phonetisaurus

​

1. Выравнивание обучающего материала (alignment)

13

Phonetisaurus

​

1. Выравнивание обучающего материала

14

Phonetisaurus

​

1. Выравнивание обучающего материала

15

Phonetisaurus

​

1. Обучение n-граммной модели на графемах

16

Phonetisaurus

​

1. Декодирование (генерация транскрипции):
2. Создание конечного акцептора

​

​

​

​

​

• Композиция с n-граммной моделью

​

• Поиск наилучшего пути

​

17

Другие методы

​

​

1. Рекуррентные нейронные сети (RNN)

​

• Listen, Attend and Spell (BiLSTM + attention)

​

• Трансформеры

​

18

Listen, Attend and Spell

​

19

Генерация транскрипций с помощью ASR

​

​

1. Автоматическая разметка на слова

​

• Создание матрицы ошибок (confusion matrix)

​

• Обучение N-граммной модели для “фонем”

​

• Пофонемное распознавание слов/последовательностей слов, для которых нужны транскрипции

​

• Удаление транскрипций, которые отличаются от существующих звуками, которые часто путаются системой (п. 2)

20

Генерация транскрипций с помощью ASR

​

21

Динамические словари

​

1. Выбор варианта в зависимости от:

​

• Темпа

​

• Длины слова

​

• Фонетического контекста

​

• Лексического контекста

22

Оценка качества транскрипций

​

​

1. Word Error Rate

​

• Phone Error Rate

​

• Phone-based dynamic programming (PDP)

23

Спасибо за внимание!

24