Глубинное обучение в обработке звука
Карагодин Никита, SberDevices
План курса
Оценка = 0.2 * ДЗ_1 + 0.4 * (ДЗ_2 + ДЗ_3)
Цифровая обработка сигналов
План лекции
Классификация сигналов
Сигналом называется физический процесс, который передает информацию о состоянии или поведении некоторого объекта или системы.
Сигналы
Детерминированные
Случайные
Классификация сигналов
Детерминированные сигналы описываются аналитической функцией, и их поведение полностью известно в любой момент времени.
Случайные сигналы — это сигналы, которые зависят от случайных факторов и не могут быть точно предсказаны. Мы можем только оценить вероятность того, какое значение будет принимать сигнал в некоторый момент времени.
Классификация сигналов
Детерминированные сигналы
Непериодические
Периодические
Классификация сигналов
Непериодические сигналы условию периодичности не удовлетворяют, и они, как правило, ограничены во времени.
Классификация сигналов
Звук и его характеристики
Звук и его характеристики
Волна — изменение некоторой совокупности физических величин, которое способно перемещаться или колебаться внутри ограниченных областей пространства.
Волны
Механические
Электромагнитные
Гравитационные
Звук – это волна.
Механические волны – это периодические возмущения, которые распространяются через физическую среду.
Среда – это материал или вещество, которое служит для передачи волн.
Во время своего движения волна не переносит частицы. Они лишь временно отклоняются от своего обычного положения, а затем возвращаются обратно.
Звук и его характеристики
Механические волны
Продольные
Поперечные
В продольных волнах частицы среды колеблются вдоль направления распространения волны.
В поперечных волнах частицы среды колеблются перпендикулярно направлению распространения волны.
Звук и его характеристики
Когда звуковая волна проходит через воздух, его частицы начинают колебаться вдоль распространения волны. При этом образуются чередующиеся области сжатия (compression) и разряжения (rarefaction).
Звук и его характеристики
Звуковая волна – это чередование участков с повышенным и пониженным давлениями.
Звук – это волна давления, распространяющаяся через некоторую среду.
Громкость – это наше субъективное ощущение силы звука (его звукового давления).
В основном, человеческое восприятие громкости основано на амплитуде звукового давления на барабанную перепонку. Если все остальные характеристики равны, то звуки более высокой амплитуды воспринимаются как более громкие.
Звук и его характеристики
Существует и другой способ описать громкость звука - через интенсивность. Мы можем смотреть на звук как на поток энергии от одного места к другому. Интенсивность описывает, насколько «концентрирован» поток энергии.
Звук и его характеристики
Звук и его характеристики
Интенсивность пропорциональна квадрату амплитуды, поэтому удвоение амплитуды увеличивает интенсивность в четыре раза.
Существуют две почти идентичные логарифмические шкалы для описания амплитуды звука: уровень интенсивности звука и уровень звукового давления, которые часто заменяют друг друга.
Звук и его характеристики
Источник | Уровень интенсивности (дБ) | Интенсивность (пВт/м²) | Амплитуда давления (пПа) |
Порог слуха | 0 | 1 | 20 |
Тихий лес | 10 | 10 | 60 |
Тиканье часов | 20 | 100 | 200 |
Рисовые хлопья | 30 | 1,000 | 600 |
Библиотека | 40 | 10,000 | 2,000 |
Вентилятор | 50 | 100,000 | 6,000 |
Разговор | 60 | 1,000,000 | 20,000 |
Шум в машине | 70 | 10,000,000 | 60,000 |
Пылесос | 80 | 100,000,000 | 200,000 |
Газонокосилка | 90 | 1,000,000,000 | 600,000 |
Цепная пила | 100 | 10,000,000,000 | 2,000,000 |
Механический цех | 110 | 100,000,000,000 | 6,000,000 |
Закрытая арена | 120 | 1,000,000,000,000 | 20,000,000 |
Реактивный взлет | 130 | 10,000,000,000,000 | 60,000,000 |
Звук и его характеристики
Цифровые сигналы и их обработка
Суть цифровой обработки сигналов состоит в том, что реальный физический сигнал, например, напряжение или ток, преобразуются в последовательность чисел, которая затем подвергается математическим преобразованиям.
Сигналы
Аналоговые
Дискретные
Цифровые
Квантованные
Аналоговые, цифровые и дискретные сигналы
Аналоговый сигнал – сигнал, который описывается непрерывной функцией времени. Практически все физические процессы представляют собой аналоговые сигналы.
Аналоговые, цифровые и дискретные сигналы
Дискретизация аналогового сигнала состоит в том, что сигнал представляется в виде последовательности значений, взятых в дискретные моменты времени, которые называются отсчётами (samples). Как правило, отсчеты берутся через равные промежутки времени.
Аналоговые, цифровые и дискретные сигналы
Квантованные сигналы принимают ряд конечных значений из диапазона непрерывных или дискретных величин. Как правило, сигналы квантуются по уровню, то есть по амплитуде.
Процесс преобразования отсчетов сигнала в числа называется квантованием по уровню (quantization).
Аналоговые, цифровые и дискретные сигналы
Сигнал, дискретный во времени, но не квантованный по уровню, называется дискретным (discrete-time) сигналом.
Сигнал, дискретный во времени и квантованный по уровню, называют цифровым (digital) сигналом.
Аналоговые, цифровые и дискретные сигналы
Результатом работы АЦП является последовательность чисел, поступающая в цифровой процессор (ЦП), выполняющий требуемую обработку.
Преобразования сигналов
Результатом работы процессора является новая последовательность чисел, представляющих собой отсчеты выходного сигнала.
Преобразования сигналов
Все современные методы обработки звука работают примерно одинаково и состоят из 3-х этапов:
Цифровое представление звука
Микрофон превращает звуковые волны в электрический сигнал.
Цифровое представление звука
Затем этот сигнал обрабатывается АЦП и каждый отсчет сигнала записывается в виде двоичного числа и на выходе получается цифровой звуковой сигнал.
Диафрагма внутри микрофона вибрирует под воздействием звуковых волн. Эти вибрации преобразуются в электрический сигнал, который изменяется в соответствии с частотой и амплитудой звуковых волн.
Для прослушивания цифрового аудио его необходимо преобразовать из цифровой формы в аналоговую.
Цифровое представление звука
ЦАП восстанавливает аналоговый сигнал из двоичных данных файла. Затем аналоговый сигнал поступает на динамик, который вибрирует и создает звуковые волны в воздухе.
Спектр сигнала и ряды Фурье
Термин "преобразование Фурье" включает в себя четыре основных типа, каждый из которых соответствует определенному виду сигналов.
Спектр сигнала и ряды Фурье
В цифровой обработке используется только дискретное преобразование Фурье (DFT). В теории вы можете встретить первые три типа преобразований, но на практике, вы будете использовать только DFT.
Спектр сигнала и ряды Фурье
💡 Ряд Фурье был открыт французским математиком Жаном Фурье в начале XIX века, когда он исследовал уравнение теплопроводности. С тех пор ряд Фурье стал одним из основных инструментов анализа периодических функций.
Разложение в ряд Фурье - это способ представить любой периодический сигнал в виде суммы более простых функций, которые называются базисными.
В зависимости от конкретной формы базисных функций различают несколько форм записи ряда Фурье:
Спектр сигнала и ряды Фурье
Спектр сигнала и ряды Фурье
Спектр сигнала и ряды Фурье
Спектр сигнала и ряды Фурье
Неудобство синусно-косинусной формы ряда Фурье состоит в том, что в формуле фигурируют два слагаемых — синус и косинус.
Спектр сигнала и ряды Фурье
Спектр сигнала и ряды Фурье
Совокупность амплитуд гармоник ряда Фурье называется амплитудным спектром, а совокупность их фаз – фазовым спектром.
Спектр сигнала и ряды Фурье
1. Синусно-косинусная форма
Спектр сигнала и ряды Фурье
2. Комплексная форма
Спектр сигнала и ряды Фурье
Спектр сигнала и ряды Фурье
Преобразование Фурье
Идею рядов Фурье можно обобщить и на непериодические сигналы.
Преобразование Фурье
Преобразование Фурье
Преобразование Фурье
Свойства преобразования Фурье
Свойства преобразования Фурье
Изменение длительности сигнала приводит к изменению ширины спектра, причем эта зависимость обратно пропорциональная.
Преобразование Фурье
Преобразование Фурье
Спектр данного сигнала простирается до бесконечности, постепенно затухая.
Преобразование Фурье
Для определения протяженности спектра вводят понятие эффективной (практической) ширины спектра. При лепестковом характере спектра шириной спектра можно считать ширину главного лепестка.
Преобразование Фурье
Можно сформировать сигнал большой длительности, одновременно имеющий и широкий спектр (такие сигналы называют широкополосными). А вот короткий сигнал с узким спектром существовать не может.
Дискретизация и теорема Котельникова
Спектр дискретного сигнала
Дискретный сигнал является последовательностью чисел, поэтому для анализа его спектра нужно сопоставить этой последовательности некоторую функцию.
Спектр дискретного сигнала
Спектр дискретного сигнала
Связь спектров дискретного и аналогового сигналов
Как в этом случае спектр дискретного сигнала связан со спектром аналогового сигнала?
Связь спектров дискретного и аналогового сигналов
Связь спектров дискретного и аналогового сигналов
Связь спектров дискретного и аналогового сигналов
периодический сигнал → дискретный спектр
Связь спектров дискретного и аналогового сигналов
периодический спектр → дискретный сигнал
Теорема Котельникова
В зарубежных источниках данная теорема называется теоремой Найквиста-Шеннона (Nyquist–Shannon theorem) или теоремой отсчетов (sampling theorem).
Теорема Котельникова
Почему в теореме частота дискретизации должна быть именно в 2 раза больше. Почему не 5 или 100?
Чтобы восстановить непрерывный сигнал по его дискретным отсчетам, необходимо пропустить дискретный сигнал через идеальный фильтр нижних частот (ФНЧ) с частотой среза, равной половине частоты дискретизации.
Теорема Котельникова
Если это условие не выполняется, сдвинутые копии спектра будут накладываться друг на друга, что приведет к неизбежным искажениям при восстановлении непрерывного сигнала.
Теорема Котельникова
Дискретное преобразование Фурье
Дискретное преобразование Фурье
Дискретное преобразование Фурье
Дискретное преобразование Фурье
Смысл формулы ДПФ
Свойства ДПФ
Свойства ДПФ
Свойства ДПФ
Свойства ДПФ
Свойства ДПФ
3. Растекание спектра:
При ДПФ предполагается, что последовательность отсчетов анализируемого сигнала является периодически продолженной вперед и назад во времени.
Если значения начальных и конечных отсчетов сигнала сильно различаются, то при повторении на стыках сегментов возникают скачки, из-за которых спектр сигнала расширяется. Это явление называется растеканием спектра (spectrum leakage).
Свойства ДПФ
Свойства ДПФ
Свойства ДПФ
Для уменьшения растекания спектра при ДПФ применяются оконные функции.
Это приведет к ослаблению эффектов, связанных с возникновением скачков сигнала при периодическом повторении последовательности, и к уменьшению растекания спектра..
Быстрое преобразование Фурье
Рассмотрим идею БПФ с прореживанием по времени (decimation in time, DIT)
Быстрое преобразование Фурье
Быстрое преобразование Фурье
Это почти вдвое меньше, чем при вычислении ДПФ прямым способом!
Оконное преобразование Фурье
Оконное преобразование Фурье
Что если частотный состав нашего сигнала меняется со временем?
Как представить спектр таких сигналов?
Идея STFT заключается в рассмотрении только небольшого участка сигнала:
Для решения этой задачи Деннис Габор в 1946 году предложил метод оконного преобразования Фурье (Short-time Fourier transform, STFT), которое является компромиссом между временным и частотным представлением сигнала.
Оконное преобразование Фурье
Оконное преобразование Фурье
Роль оконной функции
�Оставляет сигнал неизменным внутри интересующего участка и обнуляет его за его пределами.
Использование прямоугольного окна приводит к разрывам на границах участка, это вызывает артефакты, распространяющиеся по всему спектру.
2. Треугольное окно
Роль оконной функции
Приводит к гораздо меньшим артефактам, так как спадает более плавно по краям.
Вносит некоторое размытие частот, что может привести к более гладкому спектру, чем это действительно есть у сигнала.
Роль оконной функции
Роль оконной функции
Спектрограммы и мел-спектрограммы
Спектрограмма
1. Спектрограмма — изображение, показывающее зависимость спектральной плотности мощности сигнала от времени.
2. Спектрограмма — двумерное изображение мощности сигнала.
4. Спектрограмма - изображение спектра сигнала по мере его изменения во времени
3. Спектрограмма - мгновенный спектр сигнала, зависящий от времени.
Спектрограмма
Спектрограмма
Спектрограмма
Вспоминаем децибелы!
Наш слух более чувствителен к изменениям низких частот.
Мы легко отличаем разницу между 400 Гц и 450 Гц, но отличить звуки 5000 Гц и 5050 Гц сложнее.
Мел-спектрограмма
Поэтому был придуман способ измерять высоту звука так, чтобы одинаковые интервалы по частоте воспринимались нами так же одинаково, вне зависимости от области частот. А единицу измерения назвали мел.
400 Гц
450 Гц
5050 Гц
5000 Гц
Мел - это психофизическая единица высоты звука.
Формула перехода от герц к мел-шкале были выведены эмпирически, посредством проведения большого количества психоакустических тестов.
Мел-спектрограмма
Алгоритм вычисления мел-спектрограммы:
Мел-спектрограмма
1. Вычислить спектрограмму
2. Построить мел-фильтры
3. Преобразовать частоту в мел-шкалу, применив к спектрограмме банк мел-фильтров.
5. Нормализация
Мел-спектрограмма
1. Перевести максимальную и минимальную частоту в мел-шкалу.
3. Преобразовать соответствующее значение частоты каждой точки обратно в герцы и округлить до ближайшего отсчета частоты.
4. Найти координаты вершин треугольника и построить фильтр
Банк мел-фильтров строится следующим образом:
Спасибо за внимание!