Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

​

Дубровин Евгений Владимирович�Научный консультант Ганичев Антон Александрович

Курс: «Нейронные сети и их применение в научных исследованиях»

Атомно-силовая микроскопия

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

1986 год

2024 год

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Особенности данных СЗМ

• Особенность данных СЗМ: они содержат важную физическую информацию по z-координате

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Изображения (1×1 мкм²) молекул РНК-полимеразы на двух разных поверхностях

​

​

Рутинная задача большинства СЗМ-исследований - измерение высоты объектов на изображении

909 молекул

183 молекулы

Dubrovin et al., Langmuir 2017, 33, 10027−10034

​

​

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Временная последовательность изображений одного и того же участка поверхности

Пример: кинетика разворачивания молекул РНК-полимеразы на поверхности модифицированного графита

Dubrovin et al., Colloids and Surfaces B: Biointerfaces 193 (2020) 111077

​

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Существующие решения (1/2)

Пример извлечения высоты для глобулярной структуры

​

​

I. «Эталонное» измерение высоты (вручную)

Время одного

измерения

(оценка снизу): 10 с

Плюсы: высокая точность анализа (для опытного пользователя)

Минусы: большое время анализа (десятки минут для среднего изображения)

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Удовлетворительный результат

​

II. Использование пороговой фильтрации

Неудовлетворительный результат

​

​

Плюсы: маленькое время анализа (~секунды)

Минусы: неприемлемое качество анализа для неровных поверхностей, зашумленных изображений, изображений с нецелевыми объектами.

Существующие решения (2/2)

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Цель работы: разработка основанного на применении алгоритмов глубокого машинного обучения нейронной сети инструмента для автоматического анализа высот глобулярных объектов на изображениях сканирующей зондовой микроскопии

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

• Из собственного архива
• Получены на разном оборудовании в течении многих лет
• Относятся к объектам разного типа (молекулы различных белков, белковые агрегаты, мицеллы из углеводородных молекул)

Данные

Всего изображений 244:

тренировочный датасет 187

валидационный датасет 39

тестовый датасет 18

• самих объектов
• рельефа поверхности, на которой они закреплены
• физической среды исследования (воздушная и водно-солевые растворы)
• режимов работы
• параметров настройки микроскопа
• степени зашумленности

Выбор изображений глобулярных объектов для обучения модели обусловлен максимальным разнообразием:

​

• Изображения из каждой серии измерений находятся только в одной из трех выборок

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

1. Создание бинарной маски (поиск и выделение объектов на изображении)

Тип нейросети Cascade Mask-RCNN

Создание маски, размеченной значением высоты (1/2)

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

2. Разметка бинарной маски высотой каждого пикселя (таргет)

Создание маски, размеченной значением высоты (2/2)

а) полностью вручную (оказалось слишком долгим)

б) частично автоматизированным способом

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Модель

Вход

Выход

Изображение

​

Бинарная маска максимальных точек каждого объекта (создается из таргета бинаризацией)

​

Сверточная нейросеть

Unet (efficientnet-b0)

создается при помощи другой нейросети + постобработка на основе разметки

Train/Val/Test

1-й канал

2-й канал

Предсказанные высоты глобул (после наложения бинарной маски)

Обработанное предсказание модели

Предсказание модели

Таргет (размеченные высоты)

Расчет функции потерь (Train)

Расчет метрики (Train/Val/Test)

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Среднеквадратичное отклонение (MSE)

Метрика/функция потерь

MSE =

~10^-5 нм – 1 нм*

*C. Ma et al. Thermal noise in contact atomic force microscopy, Journal of Applied Physics 129 (2021) 234303

• Функция потерь (по всему изображению или только по маске)
• Наличие/отсутствие второго канала
• Вид маски (точечный или по контурам объекта)
• Общая/раздельная нормировка изображения и таргета

Вариация параметров модели и структуры входных данных

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Результаты

Пример обучения 1000 эпох (12000 шагов)

Функция потерь

Метрика качества модели на валидационном датасете (на денормированных данных)

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Результаты

Разброс MSE:

~0,51 нм²

~0,7 нм

Метрика на тестовом наборе данных

~0,2 нм

~1,5 нм

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии

Специализированные журналы по микроскопии:

​

• Microscopy Research and Technique
• Micron
• Microscopy and Microanalysis
• Ultramicroscopy

и др.

Журналы

• Впервые решена задача автоматического определения высот глобулярных объектов на СЗМ-изображениях со сложным рельефом поверхности.
• Проведено обучение, валидация и тестирование сверточной нейронной сети архитектуры U-net на наборе из 244 изображений с использованием заранее размеченной карты высот объектов (таргета).
• Разработан специальный скрипт, позволяющий минимизировать время разметки высот объектов на изображении.
• На вход модели подается два канала: изображение и маска максимальных координат объектов.
• Функцией потерь и метриками является среднеквадратичное отклонение между предсказанием модели и ненулевыми значениями таргета.
• В результате обучения модели получены веса, позволяющие достигать значение метрики на тестовом датасете ~0.51 нм², что соответствует средней ошибке определения высоты ~0.7 нм.
• На однородных данных ошибка определения высоты варьирует от 0,2 нм до 1,6 нм, что приблизительно соответствует шуму на изображении.
• Полученная модель может использоваться как инструмент для анализа высот глобулярных объектов при решении научных задач.

Заключение

​

​

Основанный на глубоком обучении инструмент для анализа глобулярных структур на изображениях сканирующей зондовой микроскопии