Автоматическое детектирование клеток �для теста Allium Cepa L. �с помощью моделей глубокого обучения

Курс «Нейронные сети и их применение в научных исследованиях»

МГУ им. М.В. Ломоносова

Химический факультет

Кафедра аналитической химии

Потемкин Александр

аспирант 3 г.о.

Автоматическое детектирование клеток для теста Allium Cepa L.

Тест Allium Cepa L.

• Воздействие генотоксикантов и мутагенов может передаваться следующим поколениям.

• Их воздействия можно увидеть только спустя годы, поэтому для анализа таких веществ часто используют организмы-биоиндикаторы.

• Один из распространенных на практике биоиндикаторов – это репчатый лук (Allium Cepa L.).

• Исследуют клетки корней луковиц, пророщенных в растворах исследуемых веществ.

1

Автоматическое детектирование клеток для теста Allium Cepa L.

Пример изображения, получаемого в ходе анализа

Разные стадии деления:

• Подсчитать число делящихся клеток

• Среди делящихся - подсчитать число клеток с нарушениями процесса деления

• Для получения достоверных результатов надо подсчитать несколько тысяч клеток для одного раствора (+ отрицательный и положительный контроль)

• Подсчитать число неделящихся клеток

Неделящаяся клетка:

2

Автоматическое детектирование клеток для теста Allium Cepa L.

Цель работы

Создание вспомогательного программного обеспечения, упрощающего проведение теста Allium cepa L. за счет автоматического детектирования делящихся и неделящихся клеток на изображениях с микроскопа.

Исходное изображение

Программа

Обработанное изображение

3

3

Автоматическое детектирование клеток для теста Allium Cepa L.

Обзор существующих решений

• В статье [1] Faster R-CNN применялась для подсчета клеток человеческого эпителия. Наибольшая достигнутая точность: mAP 78.1%.

​

• В [2] YOLOv3 применялась в задаче детектирования и подсчета кровяных клеток. Исследователям удалось достичь точности mAP 88.26%, точности подсчета эритроцитов 83.28%, лейкоцитов – 86.49%.

​

• В работе [3] описано использование модели UV-Net для подсчета делящихся клеток на гистологических изображениях. Точность F1-score 0.6721.

[1] Uka et al. FASTER R-CNN for cell counting in low contrast microscopic images // 2020. P. 64-69.

[2] Zhang et al. Cell counting algorithm based on YOLOv3 and image density estimation // 2019. P. 920-924.

[3] Mirjahanmardi et al. Mitosis Detection for Breast Cancer Pathology Images Using UV-Net // 2021.

4

Датасет

Автоматическое детектирование клеток для теста Allium Cepa L.

• 587 фрагментов из 6 больших изображений RGB, JPEG с микроскопа Olympus BX63 (40x)

​

• ~ 3100 х 3100 пикселей

​

• Разметка: 2 класса (dividing и not_dividing),

bounding boxes

• Также были подготовлены одноканальные (ч/б) версии этих фрагментов

~ 1 : 6

• Датасет разбивали случайным образом: 8 : 1 : 1

​

• В ходе обучения применялась аугментация данных

​

5

Автоматическое детектирование клеток для теста Allium Cepa L.

Модель

🡨 YOLOv5s, реализация компании Ultralytics с использованием библиотеки PyTorch

• Также рассматривалась Faster R-CNN, но она справлялась заметно хуже

• Модели, предобученные на датасете COCO.

6

Автоматическое детектирование клеток для теста Allium Cepa L.

Метрики качества

1) P, R, F1-score, mAP@0.5

2) Точность подсчета клеток [4]:

TP – число True Positive предсказаний (верно детектированных клеток)

N_truth – число клеток, размеченных человеком

N_predicted – число клеток, предсказанное моделью

[4] Drałus G. et al. Automatic Detection and Counting of Blood Cells in Smear Images Using RetinaNet // 2021. V. 23. P. 1522.

7

Автоматическое детектирование клеток для теста Allium Cepa L.

Лучшая модель (YOLOv5s)

8

Автоматическое детектирование клеток для теста Allium Cepa L.

Сравнение моделей

• Изменение параметра gamma для Focal Loss на значения 0, 1, 1.5, 2

не давало заметных улучшений.

• При использовании черно-белых одноканальных изображений все метрики точности улучшились.

9

Автоматическое детектирование клеток для теста Allium Cepa L.

Интерпретация работы модели

• Результат работы алгоритма Eigen-CAM (Class Activation Map)

• Красные участки имеют наболее сильно влияние на итоговый ответ сети

Больше всего на решения нейросети влияют области, в которых расположены клеточные ядра, а также области между двумя близкорасположенными ядрами.

10

Автоматическое детектирование клеток для теста Allium Cepa L.

Интерпретация работы модели

1. Неправильно классифицированные клетки;
2. Модель нашла клетку, там где нет близкого Ground Truth;
3. Модель не нашла клетку там, где есть Ground Truth;

11

Автоматическое детектирование клеток для теста Allium Cepa L.

Приложение для резметки изображений с микроскопа (создание, редактирование, сохранение в файл)

• YOLOv5s

• Библиотека PyQt5

Добавлена возможность масштабировать анализируемое изображение.

​

​

Добавлена сетка поверх изображения, для того, чтобы было проще ориентирваться

​

​

Код программы: https://gitlab.com/fat-fox/python_nn

12

Автоматическое детектирование клеток для теста Allium Cepa L.

Выводы

• Набор данных с размеченными клетками Allium Cepa L, который позволит другим исследователям подключиться к решению данной задачи и совершенствовать предложенное решение.

​

• Обученная нейросеть YOLOv5s для детектирования делящихся и неделящихся клеток Allium Cepa L. с высокой точностью, которая может быть использована в работе других исследовательских групп.

​

• Программное обеспечение для обработки изображений теста Allium Cepa L., которое позволит ускорить проведение данного анализа.

13

Автоматическое детектирование клеток для теста Allium Cepa L.

Спасибо за внимание!