1 of 15

Речевые технологии. Занятие 4. Архитектуры синтеза речи

​

​

​

​

​

​

П. А. Холявин

​

p.kholyavin@mail.ru

​

​

​

19.02.2024

1

2 of 15

Источники

​

Б. М. Лобанов, Л. И. Цирульник. Компьютерный синтез и клонирование речи

​

Paul Taylor. Text-to-Speech Synthesis.

​

П. А. Скрелин. Фонетические аспекты речевых технологий.

2

3 of 15

Типы единиц компилятивного синтеза

​

  1. Аллофоны
  2. Дифоны
  3. Субаллофоны
  4. Слоги
  5. Слова… (макросинтез)
  6. Unit Selection (селективный синтез)

3

4 of 15

Аллофонный синтез

​

Согласные:

L \ R

Неогубл. гласный

Огубл. гласный

Глухой согл.

Сонант или /v/

Звонкий согл.

Абс. начало

​

​

​

​

​

Гласный

​

​

​

​

​

Согл.

​

​

​

​

​

Сочетания согласных: /b/, /p/, /m/, /d/, /t/ + /n/, /n’/

4

5 of 15

Аллофонный синтез

​

Гласные – левые контексты:

/f/, /v/, /p/, /b/

​

/n’/

/f’/, /v’/, /p’/, /b’/

/l/

/t/, /d/, /s/, /z/, /t͡s/

/l’/

/t’/, /d’/, /s’/, /z’/, /t͡ʃ/, /ʃ’/, /r’/

/r/

/ʃ/, /ʒ/

/j/

/k/, /g/, /x/

/a/

/k’/, /g’/, /x’/

/o/

Абс. начало

/u/

/m/

/e/

/m’/

/i/

/n/

/ɨ/

5

6 of 15

Аллофонный синтез

​

Гласные – правые контексты:

/p/, /b/, /m/, /f/, /v/

​

/j/

/t/, /d/, /s/, /z/, /t͡s/, /n/, /r/

/a/

/ʃ/, /ʒ/

/o/

/k/, /g/, /x/

/u/

Мягкие, кроме /j/

/e/

Абсолютный конец

/i/

/l/

/ɨ/

6

7 of 15

Аллофонный синтез

​

Гласные – степени редукции:

0

Ударный гласный

1

Предударные гласные

2

/a/ во втором предударном слоге

4

Заударные гласные

5

Заударный неконечный /a/

вертолёт

[v’i1rta1l’o0t]

барабан

[ba2ra1ba0n]

подушка

[pa1du0ʃka4]

подушках

[pa1du0ʃka5x]

7

8 of 15

Корпус CORPRES

​

Skrelin, Pavel, et al. “CORPRES" International Conference on Text, Speech and Dialogue. Springer, Berlin, Heidelberg, 2010.

(CORpus of Professionally REad Speech)

8

9 of 15

Другие методы синтеза

​

Дифонный: вторая половина звука А + первая половина звука Б

​

+ лёгкость сегментации

​

  • увеличение числа единиц

​

Субаллофонный: половины звуков

​

Слоговой: слоги (количество единиц зависит от языка)

9

10 of 15

Unit Selection

​

Метод синтеза речи по тексту, в котором вся база данных потенциально может быть использована в качестве единиц синтеза.

​

Метод Unit Selection основан на принципе наименьшей модификации.

Используются два параметра:

  1. Стоимость разницы T (насколько потенциальный сегмент u отличается от целевого s)
  2. Стоимость склейки J (насколько плохо соседние сегменты сочетаются друг с другом)

10

11 of 15

Unit Selection

​

Единицы Unit Selection:

​

окна, субаллофоны, дифоны, аллофоны, полуслоги, дислоги, слоги, слова, фразы, …

​

Возможны системы, где используются несколько типов единиц.

11

12 of 15

Tacotron 2

​

12

13 of 15

Психоакустические шкалы

​

Шкала мелов

​

​

​

​

​

​

​

​

​

​

13

14 of 15

Практическое задание

​

  1. Взять слово из >= 3 слогов с сочетаниями согласных
  2. Написать транскрипцию
  3. По таблицам определить, какой аллофон какого звука нужно брать
  4. По транскрипции текста найти предложения, в которых есть нужные аллофоны
  5. Вырезать эти аллофоны в отдельные файлы
  6. Собрать из них слово

14

15 of 15

Спасибо за внимание!

15