Распознавание мысленно произносимых фонем по данным электроэнцефалографии и электромиографии

​

Поиленкова Анна,�магистрант 2 курса ВМК

Курс «Нейронные сети и их применение в научных исследованиях»

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

BCI � brain–computer interface

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

Электрофизиологические данные

​

ЭЭГ - Электроэнцефалография

​

— метод регистрации электрической активности мозга

​

ЭМГ - Электромиография

​

— метод оценки и регистрации электрической активности скелетных мышц

​

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

Внутренняя речь

Внутренняя речь - беззвучная, мысленная речь, которая возникает в тот момент, когда мы думаем о чем-либо или по-другому, когда произносим что-то про себя

во время мысленной речи возникает отчетливая речедвигательная импульсная активности либо в форме повышения общего тонуса речевой мускулатуры, либо в форме кратковременных вспышек.

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

Целью является разработка алгоритма для распознавания мысленно проговариваемых фонем русского языка на основе данных, получаемых с устройства электроэнцефалографии, и данных электромиографа, снятых в области отвечающей за речь.

Новизна работы обусловлена добавлением данных ЭМГ, которые будут участвовать в классификации, а также использованием данных с мысленным произношением русских фонем. Существующие работы основаны на англоязычных или других иностранных фонемах.

​

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

Данные

Количество сегментов для каждого испытуемого.

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

временные ряды с мысленным проговариванием

фонема

[a]

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

Обзор литературы

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

Классификация

Классическое машинное обучение

SVM

Четырехуровневое дискретное вейвлет-преобразование для исходного сигнала.

Извлечение признаков

AR + MAD + STD

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

Классическое машинное обучение

SVM

• точность по данным ЭЭГ - 23.9% в среднем по всем испытуемым
• точность по при объединении данных ЭЭГ + ЭМГ — 18.8%

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

Нейросетевой подход

Спектрограмма сигнала.

• CNN
• ResNet18
• EfficientNet
• LSTM

​

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

Результаты

Результаты проведенного экспериментального исследования показали, что задача многоклассовой классификации решается более эффективно с помощью классического машинного обучение, что может быть связано с ограниченным объемом данных. На модели с SVC c подобранными гиперпараметрами на данных ЭЭГ точность в среднем 23.9% по всем испытуемым, а при объединении данных ЭЭГ и ЭМГ —18.8%. Нейросетевые подходы дали точность сравнимую с уровнем случайности.

​

​

Распознавание мысленно произносимых фонем по данным ЭЭГ и ЭМГ

Литература

1. Khan, Munna. Classification of myoelectric signal for sub-vocal Hindi phoneme speech recognition / Munna Khan, Mosarrat Jahan // Journal of Intelligent & Fuzzy Systems. — 2018. — Vol. 35, no. 5. — Pp. 5585–5592.
2. Cooney, Ciaran. Mel frequency cepstral coefficients enhance imagined speech decoding accuracy from EEG / Ciaran Cooney, Rafaella Folli, Damien Coyle // 2018 29th Irish Signals and Systems Conference (ISSC) / IEEE. — 2018. — Pp. 1–7.
3. Silent eeg-speech recognition using convolutional and recurrent neural network with 85% accuracy of 9 words classification / Darya Vorontsova, Ivan Menshikov, Aleksandr Zubov et al. // Sensors. — 2021. — Vol. 21, no. 20. — P. 6744.
4. Gasparini F., Cazzaniga E., Saibene A. Inner speech recognition through electroencephalographic signals //arXiv preprint arXiv:2210.06472. – 2022.
5. Cooney C. et al. Evaluation of hyperparameter optimization in machine and deep learning methods for decoding imagined speech EEG //Sensors. – 2020. – Т. 20. – No. 16. – С. 4629.