1 of 14

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

Выступающий – Фроловцев Дмитрий Николаевич

Научный консультант – Ивченко Александр Владимирович

Научный руководитель – Магницкий Сергей Александрович

Группа НС-233

Курс «Нейронные сети и их применение в научных исследованиях»

2 of 14

Цели и задачи проекта

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

Цель работы – показать, что применение машинного обучения в классификации и построении изображений на основе эмбеддингов, получаемых с помощью фантомного волоконного эндоскопа (ФВЭ), позволяет преодолеть проблему изгиба оптоволоконного зонда ФВЭ

Задачи:

  • Создать датасет эмбеддингов ФВЭ для прямого волокна
  • Провести аугментацию данных датасета по случайному изгибу волокна
  • Решить задачу классификации изображений MNIST по эмбеддингам ФВЭ (с применением и без аугментации по изгибу волокна)
  • Решить задачу восстановления изображений MNIST по эмбеддингам ФВЭ (с применением и без аугментации по изгибу волокна)

3 of 14

Фантомный волоконный эндоскоп

Фантомный волоконный эндоскоп реализует особый способ измерения эмбеддинга изображения

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

4 of 14

Проблема изгиба волокна

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

5 of 14

Датасеты

Количество изображений MNIST

60 000 – тренировочная выборка

10 000 – тестовая выборка

Количество паттернов (длина эмбеддинга)

385 (из 55 собственных мод волокна)

Радиусы кривизны волокна в датасетах для неизменного радиуса кривизны

3 см, 5 см, 10 см, 30 см, 1 м и ∞

Распределение вероятности изгиба волокна в датасете с аугментацией по изгибу

​

Количество аугментаций по изгибу

100 – в тренировочной выборке

100 – в тестовой выборке

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

6 of 14

Модель для классификации изображений MNIST

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

7 of 14

Обучение модели

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

С использованием

не аугментированного по изгибу волокна датасета

С использованием аугментированного по изгибу волокна датасета

8 of 14

Предсказания моделей в зависимости от изгиба волокна

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

Изгибы, содержащиеся в аугментации

новые изгибы

9 of 14

Модель восстановления изображений MNIST

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

10 of 14

Обучение модели на датасете с прямым волокном

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

1 этап обучения: Loss = BCE, learning_rate = 0.05

2 этап обучения: Loss = - SSIM + L1, learning_rate = 0.002

11 of 14

Предсказания модели на датасете с прямым волокном

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

BCE

-SSIM + L1

Ground Truth

12 of 14

Обучение модели на аугментированном по изгибу волокна датасете

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

1 этап обучения: Loss = BCE, learning_rate = 0.05

2 этап обучения: Loss = - SSIM + L1, learning_rate = 0.002

13 of 14

Предсказания модели на датасете с аугментацией по изгибу волокна

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения

BCE

-SSIM + L1

Ground Truth

14 of 14

  • Создан фреймворк для создания датасетов ФВЭ
  • Показано, что:
    • При решении задачи классификации изображений MNIST с помощью эмбеддингов ФВЭ отрицательное влияние изгиба волокна полностью преодолевается с помощью аугментации данных по изгибу волокна
    • Информации в эмбеддингах ФВЭ достаточно для получения изображений MNIST
    • Изгиб волокна не приводит к полному уничтожению информации об изображении в эмбеддингах ФВЭ

Итоги работы

Классификация и восстановление изображений в фантомной волоконной эндоскопии с применением глубокого обучения