1 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

Буянкин Кирилл Евгеньевич

​

2-й курс магистратуры

физический факультет

​

2022

Курс «Нейронные сети и их применение в научных исследованиях»

2 of 29

Актуальность задачи

Анемия – пониженное содержание гемоглобина (Hb)

в крови < 110 г/л

  • Повышается риск неблагоприятных последствий родов
  • Увеличивает риск других заболеваний, в т.ч. смертность при хронических сердечных заболеваниях увеличивается на 10%

​

​

​

Неинвазивное определение гемоглобина в крови оптическими методами

3 of 29

Возможность оптического определения

Неинвазивное определение гемоглобина в крови оптическими методами

  • Гемоглобин – в дерме

​

  • Меланин – в эпидермисе

​

Где нет эпидермиса?

​

Ногтевое ложе, внутренняя сторона века, губы

4 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

Результаты исследования на 500 пациентах�Mannino, R.G., Myers, D.R., Tyburski, E.A. et al. Smartphone app for non-invasive detection of anemia using only patient-sourced photos. Nat Commun 9, 4924 (2018).

​

​

​

​

Колориметрический метод

5 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

RMSE~24г/л�значительно хуже,чем в первом исследовании�Young MF, Raines K, Jameel F, Sidi M, Oliveira-Streiff S, et al. (2021) Non-invasive hemoglobin measurement devices require refinement to match diagnostic performance with their high level of usability and acceptability. PLOS ONE 16(7): e0254629.

​

Результаты независимого исследования

6 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

�Gioux S, Mazhar A, Cuccia DJ. Spatial frequency domain imaging in 2019: principles, applications, and perspectives. J Biomed Opt. 2019 Jun;24(7):1-18. doi: 10.1117/1.JBO.24.7.071613. PMID: 31222987; PMCID: PMC6995958.

​

​

​

​

SFDI – Spatial Frequency Domain Imaging

Коэффициент поглощения

μ ~ концентрации гемоглобина в тканях

7 of 29

Цель работы

Собрать и протестировать установку для определения гемоглобина 2-мя оптическими методами

  • Колориметрический (на цветную камеру)
  • Диффузный имиджинг с пространственно-модулированным светом (Spatial frequency domain imaging, SFDI)

​

​

​

Неинвазивное определение гемоглобина в крови оптическими методами

8 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

  • 315 измеренных в приемном отделении пациентов
  • Для каждого получен клинический анализ крови

​

​

SFDI

(CСD камера, черно-белое изображение,глубина 1024), 168 снимков на человека

​

​

Фотография

(RGB камера, 3 канала, глубина 255)

Собираемые данные

9 of 29

SFDI - Spatial frequency domain imaging

Неинвазивное определение гемоглобина в крови оптическими методами

10 of 29

SFDI : решение обратной задачи

Неинвазивное определение гемоглобина в крови оптическими методами

11 of 29

Моделирование распространения света в ткани

Неинвазивное определение гемоглобина в крови оптическими методами

​

  • 35 000 пар коэффициентов поглощения и рассеяния
  • 10e6 фотонов в пакете
  • 100 расстояний между источником и детектором
  • Фурье преобразование -> 11 пространственных частот
  • Итоговая таблица для регрессии 11*35 000

​

​

​

12 of 29

Регрессионные модели

​

  • Полносвязная сеть 5 слоев (11,9,7,5,3) каналов
  • Catboost regressor
  • KNeighborsRegressor (sklearn)
  • Train/test (28000/7000)
  • Для регрессоров подобраны лучшие параметры

​

​

​

​

Неинвазивное определение гемоглобина в крови оптическими методами

KNN

13 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

Сравнение результатов

Регрессор

Относительная ошибка на тесте для коэффициента рассеяния

Относительная ошибка на тесте для коэффициента поглощения

KNN

0.004

0.008

CatBoost

0.018

0.11

Нейронная сеть

0.017

0.012

14 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

Результаты на тесте

15 of 29

Предсказание на экспериментальных данных

​

​

​

​

​

Неинвазивное определение гемоглобина в крови оптическими методами

Характерный вид

образца (из 7)

Отклонения в 3% и 4% – хорошая точность

16 of 29

Умеем решать обратную задачу

Неинвазивное определение гемоглобина в крови оптическими методами

Потом по этим данным предсказываем гемоглобин

17 of 29

Детекция ногтей

Неинвазивное определение гемоглобина в крови оптическими методами

  • Для работы с данными необходимо ввести автоматическую детекцию ногтей на черно-белом изображении CCD камеры

​

  • Собственноручно отснятый на добровольцах и размеченный датасет на 315 изображений 1920*1280

18 of 29

Детекция ногтей

Для черно-белых фотографий выбрана архитектура YOLOv5s

  • Хорошие показатели на COCO
  • Быстрая и мало весит
  • На Pytorch и с хорошей документацией

​

​

Неинвазивное определение гемоглобина в крови оптическими методами

19 of 29

Архитектура

и входные параметры

​

  • Изображения 3*640*640
  • Train/val/test 236-41-38 (315 всего)
  • 283 слоя, предобучена
  • Box-loss, Object-loss
  • Аугментации:
    • Отражение, вращение, мозаика,
    • яркость, сдвиг
  • 200 эпох, batch 16,32,64

​

​

Неинвазивное определение гемоглобина в крови оптическими методами

20 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

Результаты обучения

21 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

Уменьшение сети

Количество параметров

mAP 50% на тестовой выборке

Скорость инференса, мс

3 592 838

0.992

7.7

1 716 982

0.991

3.7

679 042

0.988

3.6

22 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

Качественная детекция на всей тестовой выборке

​

​

Примеры детекции на тесте

23 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

Дополнительный эксперимент с аугментацией

+дольше

24 of 29

Предсказание гемоглобина

​

  • 315 пациентов
  • Фотографии: RGB
  • SFDI: карты поглощения и рассеяния

на 2-х длинах волн (4 коэффициента)

​

​

​

​

Неинвазивное определение гемоглобина в крови оптическими методами

25 of 29

Выбор модели

​

  • Данные разнородны (кожа+ногти)
  • Разное количество “нормальных” ногтей для пациентов
  • Не очень большой датасет
  • Медицинская интерпретируемость
  • Классические методы использовалось в литературе ранее

​

​

​

​

Неинвазивное определение гемоглобина в крови оптическими методами

Используем методы классического машинного обучения

​

​

​

​

​

​

​

(SVM, Linear, Catboost, ElasticNet,QuantileRegressor, HuberRegressor и т.д.)

26 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

Предобработка и признаки

​

  • Маскирование только подходящих участков и удаление выбросов
  • Даунсемплинг до 100 человек
  • Выделение перцентилей от 5% до 95% для разных каналов
  • Преобразование Бокса-Кокса
  • Выделение главных компонент

​

​

​

​

27 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

Регрессор RANSAC для SFDI

R^2 = 0.31

Предсказание гемоглобина

Из литературы

R^2 = 0.08

Регрессор ElasticNet по изображениям

R^2 = 0.58

28 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

https://github.com/petthebeaver/msu_neural_net_project

Все данные и код открыты!

(Дополняется)

29 of 29

Неинвазивное определение гемоглобина в крови оптическими методами

  • Собрана установка с 2-мя оптическими методами и проведены измерения на 315 добровольцах
  • Проведено моделирование распространения света в тканях методом Монте-Карло
  • Обучен регрессор решения обратной задачи
  • Обучен детектор ногтей на основе YOLOv5
  • Описан метода предсказания гемоглобина по оптическим данным и проведено сравнение с ранее представленным

​

​

Заключение