1 of 100

Глубинное обучение в обработке звука

Карагодин Никита, SberDevices

2 of 100

План курса

  • Цифровая обработка сигналов
  • Речь и ее восприятие, модели речевого тракта
  • ДЗ 1
  • ASR 1: основные идеи, метрики, базовые модели
  • ДЗ 2
  • ASR 2: продвинутые модели
  • TTS 1: основные идеи, метрики, акустические модели
  • TTS 2: вокодеры и end-to-end модели
  • TTS 3: LLM в аудио
  • ДЗ 3

Оценка = 0.2 * ДЗ_1 + 0.4 * (ДЗ_2 + ДЗ_3)

3 of 100

Цифровая обработка сигналов

4 of 100

План лекции

  • Звук и его характеристики
  • Цифровые сигналы
  • Разложение в ряд Фурье
  • Преобразования Фурье
  • Классическое преобразование Фурье
  • Преобразование Фурье с дискретным временем
  • Дискретное преобразование Фурье
  • Дискретизация и теорема Котельникова
  • Классификация сигналов
  • Спектрограммы и мел-спектрограммы
  • Оконное преобразование Фурье

5 of 100

Классификация сигналов

6 of 100

Сигналом называется физический процесс, который передает информацию о состоянии или поведении некоторого объекта или системы.

Сигналы

Детерминированные

Случайные

Классификация сигналов

7 of 100

Детерминированные сигналы описываются аналитической функцией, и их поведение полностью известно в любой момент времени.

Случайные сигналы — это сигналы, которые зависят от случайных факторов и не могут быть точно предсказаны. Мы можем только оценить вероятность того, какое значение будет принимать сигнал в некоторый момент времени.

Классификация сигналов

8 of 100

Детерминированные сигналы

Непериодические

Периодические

Классификация сигналов

9 of 100

 

Непериодические сигналы условию периодичности не удовлетворяют, и они, как правило, ограничены во времени.

Классификация сигналов

10 of 100

Звук и его характеристики

11 of 100

Звук и его характеристики

Волна — изменение некоторой совокупности физических величин, которое способно перемещаться или колебаться внутри ограниченных областей пространства.

Волны

Механические

Электромагнитные

Гравитационные

Звук – это волна.

12 of 100

Механические волны – это периодические возмущения, которые распространяются через физическую среду.

Среда – это материал или вещество, которое служит для передачи волн.

Во время своего движения волна не переносит частицы. Они лишь временно отклоняются от своего обычного положения, а затем возвращаются обратно.

Звук и его характеристики

13 of 100

Механические волны

Продольные

Поперечные

В продольных волнах частицы среды колеблются вдоль направления распространения волны.

В поперечных волнах частицы среды колеблются перпендикулярно направлению распространения волны.

Звук и его характеристики

14 of 100

Когда звуковая волна проходит через воздух, его частицы начинают колебаться вдоль распространения волны. При этом образуются чередующиеся области сжатия (compression) и разряжения (rarefaction).

Звук и его характеристики

Звуковая волна – это чередование участков с повышенным и пониженным давлениями.

Звук – это волна давления, распространяющаяся через некоторую среду.

15 of 100

Громкость – это наше субъективное ощущение силы звука (его звукового давления).

В основном, человеческое восприятие громкости основано на амплитуде звукового давления на барабанную перепонку. Если все остальные характеристики равны, то звуки более высокой амплитуды воспринимаются как более громкие.

Звук и его характеристики

16 of 100

Существует и другой способ описать громкость звука - через интенсивность. Мы можем смотреть на звук как на поток энергии от одного места к другому. Интенсивность описывает, насколько «концентрирован» поток энергии.

Звук и его характеристики

 

17 of 100

 

 

Звук и его характеристики

Интенсивность пропорциональна квадрату амплитуды, поэтому удвоение амплитуды увеличивает интенсивность в четыре раза. 

18 of 100

Существуют две почти идентичные логарифмические шкалы для описания амплитуды звука: уровень интенсивности звука и уровень звукового давления, которые часто заменяют друг друга.

 

 

Звук и его характеристики

19 of 100

Источник

Уровень интенсивности (дБ)

Интенсивность (пВт/м²)

Амплитуда давления (пПа)

Порог слуха

0

1

20

Тихий лес

10

10

60

Тиканье часов

20

100

200

Рисовые хлопья

30

1,000

600

Библиотека

40

10,000

2,000

Вентилятор

50

100,000

6,000

Разговор

60

1,000,000

20,000

Шум в машине

70

10,000,000

60,000

Пылесос

80

100,000,000

200,000

Газонокосилка

90

1,000,000,000

600,000

Цепная пила

100

10,000,000,000

2,000,000

Механический цех

110

100,000,000,000

6,000,000

Закрытая арена

120

1,000,000,000,000

20,000,000

Реактивный взлет

130

10,000,000,000,000

60,000,000

Звук и его характеристики

20 of 100

Цифровые сигналы и их обработка

21 of 100

Суть цифровой обработки сигналов состоит в том, что реальный физический сигнал, например, напряжение или ток, преобразуются в последовательность чисел, которая затем подвергается математическим преобразованиям.

Сигналы

Аналоговые

Дискретные

Цифровые

Квантованные

Аналоговые, цифровые и дискретные сигналы

22 of 100

Аналоговый сигнал – сигнал, который описывается непрерывной функцией времени. Практически все физические процессы  представляют собой аналоговые сигналы.

 

Аналоговые, цифровые и дискретные сигналы

23 of 100

Дискретизация аналогового сигнала состоит в том, что сигнал представляется в виде последовательности значений, взятых в дискретные моменты времени, которые называются отсчётами (samples). Как правило, отсчеты берутся через равные промежутки времени.

 

Аналоговые, цифровые и дискретные сигналы

24 of 100

Квантованные сигналы принимают ряд конечных значений из диапазона непрерывных или дискретных величин. Как правило, сигналы квантуются по уровню, то есть по амплитуде.

Процесс преобразования отсчетов сигнала в числа называется квантованием по уровню (quantization).

Аналоговые, цифровые и дискретные сигналы

25 of 100

Сигнал, дискретный во времени, но не квантованный по уровню, называется дискретным (discrete-time) сигналом.

Сигнал, дискретный во времени и квантованный по уровню, называют цифровым (digital) сигналом.

Аналоговые, цифровые и дискретные сигналы

26 of 100

 

Результатом работы АЦП является последовательность чисел, поступающая в цифровой процессор (ЦП), выполняющий требуемую обработку.

Преобразования сигналов

27 of 100

Результатом работы процессора является новая последовательность чисел, представляющих собой отсчеты выходного сигнала.

 

 

Преобразования сигналов

28 of 100

Все современные методы обработки звука работают примерно одинаково и состоят из 3-х этапов:

  1. Запись звука (обычно с помощью микрофона)

  • Сохранение звука (на диске или компьютере)

  • Воспроизведение звука (с помощью динамиков или наушников)

Цифровое представление звука

29 of 100

Микрофон превращает звуковые волны в электрический сигнал. 

Цифровое представление звука

Затем этот сигнал обрабатывается АЦП и каждый отсчет сигнала записывается в виде двоичного числа и на выходе получается цифровой звуковой сигнал.

Диафрагма внутри микрофона вибрирует под воздействием звуковых волн. Эти вибрации преобразуются в электрический сигнал, который изменяется в соответствии с частотой и амплитудой звуковых волн.

30 of 100

Для прослушивания цифрового аудио его необходимо преобразовать из цифровой формы в аналоговую.

Цифровое представление звука

ЦАП восстанавливает аналоговый сигнал из двоичных данных файла. Затем аналоговый сигнал поступает на динамик, который вибрирует и создает звуковые волны в воздухе.

31 of 100

Спектр сигнала и ряды Фурье

32 of 100

Термин "преобразование Фурье" включает в себя четыре основных типа, каждый из которых соответствует определенному виду сигналов.

  1. Апериодические и непрерывные: распространяются на бесконечность и не имеют периода. Для таких сигналов используется стандартное преобразование Фурье.

  • Периодический и непрерывный: повторяются с некоторым периодом на всей числовой оси. Для них применяется разложение в ряд Фурье.

  • Апериодический и дискретный: определены только в дискретных точках и не имеют периода. Для анализа таких сигналов используется преобразование Фурье с дискретным временем.

  • Периодический и дискретный: дискретные сигналы, которые периодически повторяются. В это случае используется дискретное преобразование Фурье.

Спектр сигнала и ряды Фурье

33 of 100

В цифровой обработке используется только дискретное преобразование Фурье (DFT). В теории вы можете встретить первые три типа преобразований, но на практике, вы будете использовать только DFT. 

Спектр сигнала и ряды Фурье

34 of 100

💡 Ряд Фурье был открыт французским математиком Жаном Фурье в начале XIX века, когда он исследовал уравнение теплопроводности. С тех пор ряд Фурье стал одним из основных инструментов анализа периодических функций.

Разложение в ряд Фурье - это способ представить любой периодический сигнал в виде суммы более простых функций, которые называются базисными.

В зависимости от конкретной формы базисных функций различают несколько форм записи ряда Фурье:

  • Синусно-косинусная
  • Вещественная
  • Комплексная

Спектр сигнала и ряды Фурье

35 of 100

 

 

 

Спектр сигнала и ряды Фурье

36 of 100

Спектр сигнала и ряды Фурье

37 of 100

 

 

Спектр сигнала и ряды Фурье

Неудобство синусно-косинусной формы ряда Фурье состоит в том, что​ в формуле фигурируют два слагаемых — синус и косинус.

38 of 100

 

Спектр сигнала и ряды Фурье

 

 

39 of 100

 

 

Спектр сигнала и ряды Фурье

 

40 of 100

Совокупность амплитуд гармоник ряда Фурье называется амплитудным спектром, а совокупность их фаз – фазовым спектром.

 

Спектр сигнала и ряды Фурье

41 of 100

1. Синусно-косинусная форма

Спектр сигнала и ряды Фурье

42 of 100

2. Комплексная форма

Спектр сигнала и ряды Фурье

43 of 100

Спектр сигнала и ряды Фурье

44 of 100

Преобразование Фурье

45 of 100

Идею рядов Фурье можно обобщить и на непериодические сигналы.

Преобразование Фурье

 

46 of 100

 

Преобразование Фурье

47 of 100

 

Преобразование Фурье

 

 

 

48 of 100

Свойства преобразования Фурье

 

 

 

49 of 100

 

Свойства преобразования Фурье

Изменение длительности сигнала приводит к изменению ширины спектра, причем эта зависимость обратно пропорциональная.

50 of 100

 

Преобразование Фурье

51 of 100

 

Преобразование Фурье

52 of 100

Спектр данного сигнала простирается до бесконечности, постепенно затухая.

Преобразование Фурье

Для определения протяженности спектра вводят понятие эффективной (практической) ширины спектра. При лепестковом характере спектра шириной спектра можно считать ширину главного лепестка.

53 of 100

 

Преобразование Фурье

 

Можно сформировать сигнал большой длительности, одновременно имеющий и широкий спектр (такие сигналы называют широкополосными). А вот короткий сигнал с узким спектром существовать не может. 

54 of 100

Дискретизация и теорема Котельникова

55 of 100

Спектр дискретного сигнала

Дискретный сигнал является последовательностью чисел, поэтому для анализа его спектра нужно сопоставить этой последовательности некоторую функцию.

 

56 of 100

 

Спектр дискретного сигнала

 

57 of 100

 

Спектр дискретного сигнала

58 of 100

 

Связь спектров дискретного и аналогового сигналов

Как в этом случае спектр дискретного сигнала связан со спектром аналогового сигнала?

 

59 of 100

Связь спектров дискретного и аналогового сигналов

 

60 of 100

 

Связь спектров дискретного и аналогового сигналов

 

 

61 of 100

 

Связь спектров дискретного и аналогового сигналов

 

62 of 100

 

периодический сигнал  дискретный спектр

Связь спектров дискретного и аналогового сигналов

периодический спектр  дискретный сигнал

63 of 100

Теорема Котельникова

 

В зарубежных источниках данная теорема называется теоремой Найквиста-Шеннона (Nyquist–Shannon theorem) или теоремой отсчетов (sampling theorem).

64 of 100

Теорема Котельникова

 

 

65 of 100

Почему в теореме частота дискретизации должна быть именно в 2 раза больше. Почему не 5 или 100?

Чтобы восстановить непрерывный сигнал по его дискретным отсчетам, необходимо пропустить дискретный сигнал через идеальный фильтр нижних частот (ФНЧ) с частотой среза, равной половине частоты дискретизации.

 

Теорема Котельникова

66 of 100

Если это условие не выполняется, сдвинутые копии спектра будут накладываться друг на друга, что приведет к неизбежным искажениям при восстановлении непрерывного сигнала.

Теорема Котельникова

67 of 100

Дискретное преобразование Фурье

68 of 100

 

Дискретное преобразование Фурье

 

 

69 of 100

 

Дискретное преобразование Фурье

 

70 of 100

 

Дискретное преобразование Фурье

 

71 of 100

Смысл формулы ДПФ

 

72 of 100

Свойства ДПФ

 

73 of 100

Свойства ДПФ

 

74 of 100

Свойства ДПФ

 

 

 

 

75 of 100

Свойства ДПФ

 

 

76 of 100

Свойства ДПФ

3. Растекание спектра:

При ДПФ предполагается, что последовательность отсчетов анализируемого сигнала является периодически продолженной вперед и назад во времени.

Если значения начальных и конечных отсчетов сигнала сильно различаются, то при повторении на стыках сегментов возникают скачки, из-за которых спектр сигнала расширяется. Это явление называется растеканием спектра (spectrum leakage).

77 of 100

Свойства ДПФ

78 of 100

Свойства ДПФ

79 of 100

Свойства ДПФ

Для уменьшения растекания спектра при ДПФ применяются оконные функции.

Это приведет к ослаблению эффектов, связанных с возникновением скачков сигнала при периодическом повторении последовательности, и к уменьшению растекания спектра..

 

 

80 of 100

 

Быстрое преобразование Фурье

 

81 of 100

Рассмотрим идею БПФ с прореживанием по времени (decimation in time, DIT)

Быстрое преобразование Фурье

 

 

 

82 of 100

 

Быстрое преобразование Фурье

Это почти вдвое меньше, чем при вычислении ДПФ прямым способом!

 

 

83 of 100

Оконное преобразование Фурье

84 of 100

Оконное преобразование Фурье

Что если частотный состав нашего сигнала меняется со временем?

Как представить спектр таких сигналов?

Идея STFT заключается в рассмотрении только небольшого участка сигнала:

  1. Фиксируется оконная функция, которая отлична от нуля только в течение короткого периода времени

  • Исходный сигнал затем умножается на оконную функцию, чтобы получить "оконный сигнал"

  • Перемещая это окно во времени, вычисляют FFT для каждого оконного сигнала

Для решения этой задачи Деннис Габор в 1946 году предложил метод оконного преобразования Фурье (Short-time Fourier transformSTFT), которое является компромиссом между временным и частотным представлением сигнала.

85 of 100

 

Оконное преобразование Фурье

86 of 100

Оконное преобразование Фурье

87 of 100

Роль оконной функции

  1. Прямоугольное окно:

Оставляет сигнал неизменным внутри интересующего участка и обнуляет его за его пределами.

Использование прямоугольного окна приводит к разрывам на границах участка, это вызывает артефакты, распространяющиеся по всему спектру.

 

88 of 100

2. Треугольное окно

Роль оконной функции

Приводит к гораздо меньшим артефактам, так как спадает более плавно по краям.

89 of 100

 

Вносит некоторое размытие частот, что может привести к более гладкому спектру, чем это действительно есть у сигнала.

Роль оконной функции

90 of 100

Роль оконной функции

91 of 100

Спектрограммы и мел-спектрограммы

92 of 100

Спектрограмма

1. Спектрограмма — изображение, показывающее зависимость спектральной плотности мощности сигнала от времени.

2. Спектрограмма — двумерное изображение мощности сигнала.

4. Спектрограмма - изображение спектра сигнала по мере его изменения во времени

3. Спектрограмма - мгновенный спектр сигнала, зависящий от времени.

93 of 100

 

 

Спектрограмма

 

94 of 100

Спектрограмма

95 of 100

Спектрограмма

Вспоминаем децибелы!

96 of 100

Наш слух более чувствителен к изменениям низких частот.

Мы легко отличаем разницу между 400 Гц и 450 Гц, но отличить звуки 5000 Гц и 5050 Гц сложнее.

Мел-спектрограмма

Поэтому был придуман способ измерять высоту звука так, чтобы одинаковые интервалы по частоте воспринимались нами так же одинаково, вне зависимости от области частот. А единицу измерения назвали мел

400 Гц

450 Гц

5050 Гц

5000 Гц

97 of 100

Мел - это психофизическая единица высоты звука.

Формула перехода от герц к мел-шкале были выведены эмпирически, посредством проведения большого количества психоакустических тестов.

Мел-спектрограмма

 

 

98 of 100

Алгоритм вычисления мел-спектрограммы:

Мел-спектрограмма

1. Вычислить спектрограмму

2. Построить мел-фильтры

3. Преобразовать частоту в мел-шкалу, применив к спектрограмме банк мел-фильтров.

99 of 100

5. Нормализация

Мел-спектрограмма

1. Перевести максимальную и минимальную частоту в мел-шкалу.

 

3. Преобразовать соответствующее значение частоты каждой точки обратно в герцы и округлить до ближайшего отсчета частоты.

4. Найти координаты вершин треугольника и построить фильтр

Банк мел-фильтров строится следующим образом:

100 of 100

Спасибо за внимание!