1 of 23

КЛАССИФИКАЦИЯ ПАТТЕРНОВ �ЭЛЕКТРИЧЕСКОЙ АКТИВНОСТИ МОЗГА

В КОНТУРЕ НЕЗАВИСИМОГО ОТ ВЗГЛЯДА ПОЛЬЗОВАТЕЛЯ

ИНТЕРФЕЙСА МОЗГ-КОМПЬЮТЕР НА ВОЛНЕ P300

Пономарев Тимофей Дмитриевич, Пронина Анна Сергеевна

​

Руководители: Антон Александрович Ганичев,

Александр Яковлевич Каплан

​

Москва, 2023

Курс «Нейронные сети и их применение в научных исследованиях»

2 of 23

Интерфейс �мозг-компьютер (ИМК)

Технология для управления компьютеризированной системой напрямую на основании сигналов мозга

​

​

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

doi: 10.1111/psyp.13569

3 of 23

Пример визуальной среды �зависимого (слева) и независимого (справа) �от взгляда пользователя ИМК-P300

​

​

Новый вариант матрицы

Классическая матрица 6x6

ИМК на волне P300

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

4 of 23

Цель

Разработка классификатора для �независимого от движения глаз пользователя �интерфейса мозг-компьютер на волне P300

Задачи

Тестирование ML моделей (SVM, LDA, RF, GB)

Тестирование сверточной нейронной сети

Подбор оптимальной конфигурации данных

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

5 of 23

Варианты потенциала P300 в различных условиях

P300 при различной направленности внимания

Усреднение схожих реакций

Реакция на 1 стимул

Волна P300

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

6 of 23

Задача классификации в ИМК-P300

Есть паттерн

Нет паттерна

Бинарная классификация

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

7 of 23

Данные текущего эксперимента

35 участников

44 отведения

400 целевых стимулов

3200 нецелевых стимулов

1 испытуемый

13960

111624

Всего

(~3600, 44, 301)

​

35 X

(~3600, 1)

​

Данные

Классы

12 Гб

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

8 of 23

Предобработка данных

Пересчет относительно А1-А2

Передискретизация до 500 Гц

Фильтрация 0.1-35 Гц (ФВЧ, ФНЧ)

Коррекция окуломоторных артефактов (ICA)

Разделение на эпохи �(-100-600 мс)

Коррекция базовой линии �(-100-0 мс)

Исключение зашумленных эпох

Сохранение фрагментов �0-600 мс

ЭЭГ

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

9 of 23

Разбиение на выборки

400 целевых стимулов

3200 нецелевых стимулов

Дисбаланс классов

75% - train

1 испытуемый /

общая выборка

1 испытуемый �в 1 выборку

25% - test

WeightedRandomSampler

Batch

3200

3200

Oversampling

Imblearn

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

10 of 23

Метрики

  • Точность распознавания команд (accuracy)
  • Скорость передачи информации бит/мин �(information transfer rate, ITR)
  • Для классификатора: F-beta, balanced accuracy

N – количество доступных команд, P – точность распознавания команд, T – время, необходимое для распознавания команд.

​

ITR

Acc

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

11 of 23

Существующие решения

SWLDA

SVM

Acc: 0.9; ITR: 12 бит/мин

Acc: ~0.8; ITR: ~50 бит/мин

https://doi.org/10.1016/

0013-4694(88)90149-6

Meinicke, 2002

CNN

doi: 10.1109/ACCESS.2021.3089998

Acc: 0.9 на 2-3 эпохах

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

12 of 23

Классические методы ML

RF

    • n estimators = 2000
    • max depth = 7
    • min samples leaf = 4
    • min samples split = 7
    • max features = Log2

SVM

    • kernel = RBF
    • C = 10
    • balanced

LDA

XGBoost

    • n estimators = 700
    • max depth = 3
    • learning rate = 1
    • min child weight = 0.001

LightGBM

    • n estimators = 1500
    • max depth = 9
    • learning rate = 0.2
    • min child weight = 0.001
    • num leaves = 35
    • min data in leaf = 30

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

13 of 23

CNN

CNN

n_eeg_channels × 16 × 10

Conv1d + ReLU

16 × 8 × 10

Conv1d + ReLU

1

AdaptiveMaxPool1d

1

Linear + Sigmoid

AdamW, Learning rate = 1e-3, 50-100 epochs

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

14 of 23

Дисбаланс и частота дискретизации

Влияние борьбы с дисбалансом классов и частоты дискретизации на качество классификации

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

15 of 23

Частота дискретизации

Влияние частоты дискретизации на качество классификации

Hz

Hz

Hz

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

16 of 23

Сравнение моделей

Сравнение классификации с применением различных моделей

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

17 of 23

Конфигурация электродов

Схема расположения групп каналов

1

4

8

16

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

18 of 23

Конфигурация электродов

Влияние конфигурации электродов на �показатели классификации

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

19 of 23

Устойчивость моделей

Тестирование моделей на 10 испытуемых.

32 Гц, 8 каналов, 8 эпох.

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

20 of 23

Показатели ИМК

Классификатор

SVM

CNN

ITR, бит/мин

12.8

15.8

Точность классификации команд

0.8

0.6

Число каналов ЭЭГ

8

8

Число усреднений эпох ЭЭГ

8

4

Частота дискретизации, Гц

120

60

18 триад

9 групп

9 групп

Целевая триада 1

Целевая триада 2

A

B

C

D

E

Целевая буква: А

classifier

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

21 of 23

Сравнение с аналогами

Текущее исследование

    • 8 эпох
    • balanced accuracy = 0.9
    • F-beta = 0.8

Linear SVM

    • 10 эпох
    • accuracy = 0.94

RF

    • 10 эпох
    • accuracy = 0.9

CNN

    • 2-3 эпохи
    • accuracy = 0.9

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

22 of 23

Заключение

  • Для задачи классификации P300 в условиях скрытого зрительного внимания наилучшим образом подходят SVM и CNN
  • Достигаются balanced accuracy 0.9 и F-beta 0.8
  • Оптимальные параметры данных ЭЭГ: �частота дискретизации 32 Гц, конфигурация из �8 электродов, усреднение 8 эпох ЭЭГ

​

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300

23 of 23

Тимофей Дмитриевич Пономарев

Лаборатория нейрофизиологии и нейрокомпьютерных интерфейсов

Email: timofeyponomaryov@gmail.com

Тел.: +7-913-901-92-64

Классификация паттернов электрической активности мозга в контуре независимого от взгляда пользователя интерфейса мозг-компьютер на волне P300