Использование нейронных сетей для измерения площади повреждения листьев фитофагами

Елена Николаевна Устинова

группа НС231

кафедра биологической эволюции биологического факультета МГУ

2023

Курс: «Нейронные сети и их применение в научных исследованиях»

Использование нейронных сетей для измерения площади повреждения листьев фитофагами

При изучении взаимодействий растений и фитофагов часто возникает задача оценки степени повреждения листьев.

Измерение площади повреждения листьев фитофагами

BioLeaf: A professional mobile application to measure foliar damage caused by insect herbivory.

Измерение площади повреждения листьев фитофагами

В качестве тренировочного датасета были использованы листья с искусственно созданными на них повреждениями.

Silva et al., 2019. Estimating soybean leaf defoliation using convolutional neural networks and synthetic images.

Измерение площади повреждения листьев фитофагами

Пример имеющихся данных. А – простая форма, Б – более сложный вариант формы, но с прямым краем, В – зубчатый край.

​

​

Измерение площади повреждения листьев фитофагами

Архитектура сети на основе AlexNet

Листья разной сложности

Естественные повреждения

Без бинаризации

Измерение площади повреждения листьев фитофагами

План работы

1. Подсчет числа пикселей, относящихся к повреждению, на изображениях с естественными повреждениями (в Photoshop) - февраль
2. Генерация датасета с искусственными повреждениями - март
3. Обучение модели с архитектурой сети на основе AlexNet на листьях разного типа сложности (по отдельности). Использование бинаризованных и цветных изображений. - апрель
4. Сравнение результатов точности моделей для разных типов данных
5. Формулировка выводов, написание статьи

Использование нейронных сетей для измерения площади повреждения листьев фитофагами

Создание искусственного датасета

Неповрежденные листья

Генерация

погрызов

Тренировочный датасет: поврежденные листья и маски

Использование нейронных сетей для измерения площади повреждения листьев фитофагами

​

Результаты работы модели на основе архитектуры UNetPlusPlus на данных с искусственными погрызами. 1) подаваемые на вход модели изображения с погрызами. 2) результат работы модели после обучения в течение 50 эпох. 3) «погрызы»: разность среднего и верхнего ряда.

Модель UnetPlusPlus из библиотеки Segmentation models pytorch, предобученная на датасете imagenet c энкодером efficient-b0. Функция потерь – FocalLoss.

Использование нейронных сетей для измерения площади повреждения листьев фитофагами

​

Среднеквадратичная ошибка – 0.0085 см²

Результаты работы модели на основе архитектуры UNetPlusPlus на данных с естественными погрызами. 1) подаваемые на вход модели изображения с погрызами. 2) результат работы модели после обучения в течение 50 эпох. 3) «погрызы»: разность среднего и верхнего ряда.

Использование нейронных сетей для измерения площади повреждения листьев фитофагами

​

График Бленда-Альтмана для сравнения измерения площади нейросетью и ручным методом в Photoshop

По оси X графика отображается среднее значение измерений двух инструментов, а по оси Y — разница в измерениях двух инструментов.

​

Черная линия представляет среднюю разницу в измерениях между двумя приборами, а две красные пунктирные линии представляют пределы 95% доверительного интервала для средней разницы.

Использование нейронных сетей для измерения площади повреждения листьев фитофагами

​

Влияние параметров бинаризации на результаты работы модели

Использование нейронных сетей для измерения площади повреждения листьев фитофагами

​

Использование нейронных сетей для измерения площади повреждения листьев фитофагами

​

Использование нейронных сетей для измерения площади повреждения листьев фитофагами

​

Площадь повреждения листьев сравниваемых растений личинками A. oleracea, рассчитанная с использованием нейронных сетей. Указано р-значение в парном критерии Уилкоксона и объем выборки.

Использование нейронных сетей для измерения площади повреждения листьев фитофагами

​

Благодарности

Спасибо организаторам, преподавателям и авторам курса нейронные сети и их применение в научных исследованиях при поддержке Некоммерческого Фонда развития науки и образования «Интеллект» за предоставленные возможности в освоении нейронных сетей.

​

Особую благодарность выражаю преподавателю группы НС231 Сергею Колпинскому.