Применение методов машинного обучения при разработке технологии детектирования пожаров по данным прибора МСУ-МР с российского спутника Метеор-М-2-2

Лозин Дмитрий Владиславович

​

Московский государственный университет имени

М.В. Ломоносова

Факультет космических исследований

​

Институт космических исследований РАН

​

Москва

2023

Курс «Нейронные сети и их применение в научных исследованиях»

Актуальность проблемы и основная задача

• Детектирование пожаров по данным спутников ДЗЗ – технология, обеспечивающая возможность круглосуточного дистанционного мониторинга пожаров и оперативного автоматизированного контроля лесопожарной обстановки на всей территории России
• Одним из наиболее устойчивых и надежных алгоритмов детектирования пожаров по спутниковым данным является алгоритм MOD14, рассчитанный на работу с данными прибора MODIS, установленного на спутниках TERRA и AQUA.
• Большой интерес представляет исследование возможностей детектирования пожаров по данным с приборов, для которых еще не было разработано подобных алгоритмов.

Разработка методов детектирования пожаров по данным прибора МСУ-МР

Лесной пожар в сибирской тайге

Задача

Разработка методов детектирования пожаров по данным с прибора МСУ-МР, установленном на отечественном метеорологическом спутнике Метеор-М №2-2 с использованием методов машинного обучения

Возможные способы применения:

• классификация табличных данных со спектральными параметрами пикселей (Random Forest)
• валидация результатов работы пороговой модели

Разработка методов детектирования пожаров по данным прибора МСУ-МР

Основная целевая аппаратура

космического аппарата «Метеор-М» №2-2

​

Построение обучающей выборки (табличные данные)

• Положительная выборка составлялась из наборов параметров, рассчитанных по данным МСУ-МР в точках, где был зарегистрирован пожар
• Для локализации пожаров на снимках МСУ-МР использовалась информация о горячих точках, детектированных по данным MODIS на территории РФ за 2021 год
• Каждой такой точке подбирался покрывающий ее сеанс МСУ-МР. Время такого сеанса отличалось от времени регистрации точки не более, чем на 30 минут
• Отрицательная выборка строилась по наборам сеансов МСУ-МР, покрывающих области, на которых не было зарегистрировано горячих точек MODIS в день этого сеанса

​

Разработка методов детектирования пожаров по данным прибора МСУ-МР

Описание параметров горячих точек выборки

Классификация табличных данных

• На предложенном наборе данных была протестирована работа порядка 30 моделей классического машинного обучения
• Целевой метрикой была взята f1-score, которая одновременно реагирует на пропуски и ложные срабатывания, при этом не учитывая величину верных негативных срабатываний моделей
• Почти все тестируемые модели показали сопоставимый результат (>95%), при этом модель Random Forest с различными значениями параметра n_estimators показывали наивысший результат
• Для итогового тестирования выбрана модель Random Forest с n_estimators=100 (стандартное значение)

Разработка методов детектирования пожаров по данным прибора МСУ-МР

Полученные параметры точности по контрольной выборке

Разработка методов детектирования пожаров по данным прибора МСУ-МР

• Слева: область сцены, снятой спутником МСУ-МР (04.08.2022 08:51:45). Черным выделена маска облачности; область отображена в 4 канале в диапазоне от 280 К до 327 К (от черного к белому)
• Справа: пример работы алгоритма детектирования, основанного на методах машинного обучения, на рассматриваемой области сцены. Зеленым выделен результат работы алгоритма

​

​

Исходный результат

Исходный результат

Анализ работы предложенных методов детектирования горячих точек на сценах МСУ-МР за 3 и 4 августа 2022 года (независимо от собранной выборки в рабочем процессе) показал:

• Высокий показатель полноты для алгоритма, основанном на методах машинного обучения (среднее для сцены 99.28%)
• Низкий показатель точности для алгоритма, основанном на методах машинного обучения (среднее для сцены 50.92%)

​

Разработка методов детектирования пожаров по данным прибора МСУ-МР

Пример ложных детектирований в результате работы алгоритма на области сцены МСУ-МР

Новый способ построения обучающей выборки

• Развитие порогового алгоритма детектирования горячих точек по МСУ-МР позволил повторно провести сбор данных, с опорой на точки, определенные как пожарные пороговым алгоритмом и дополнительно подтвержденные горячими точками с соседних сеансов других приборов (MODIS, VIIRS итд)
• Таким образом в разы повысились достоверность и объем выборки
• Было собрано порядка 100 тыс. примеров для положительной выборки и порядка 15 млн. для отрицательной
• Изменения коснулись цепочки обработки, теперь на вход модели подаются только точки, проходящие первичные консервативные пороговые тесты. Данные проверки гарантийно отбрасывают только отрицательные случаи, тем самым уменьшая возможности для ложных детектирований обученной модели

​

Разработка методов детектирования пожаров по данным прибора МСУ-МР

Результат

• Обученная на новом наборе данных модель Random Forest показывает близкие к идеальным показатели метрик качества, что делает необходимым проверку работы модели непосредственно в конечном рабочем процессе.
• Работа модели была протестирована на всех доступных сеансах МСУ-МР за 2022 год, покрывающих территорию РФ. Полученное значение интегральной площади, пройденной пожарами, соответствует этой же величине, рассчитанной с помощью порогового алгоритма. Данный результат напрямую следует из способа формирования обучающей и тестовых выборок.

Разработка методов детектирования пожаров по данным прибора МСУ-МР

Полученные параметры точности по контрольной выборке

Сравнение интеральных оценок площадей, пройденными пожарами на территории РФ за 2022 год, полученных с помощью разных алгоритмов детектирования пожаров (оценка работы модели в рабочем процессе)

Валидация результатов работы пороговой модели

• Сравнение работы Random Forest и порогового алгоритма показывает, что большая часть сеансов отрабатывается обоими алгоритмами одинаково в пределах допустимой погрешности
• Визуальный анализ результатов детектирований двух методов на сеансах, где разница детектирования была больше 20%, показал, что на сеансах, где оба варианта детектирования фиксируют ложные срабатывания, количество таких ложных срабатываний для Random Forest всегда значимо меньше, чем для пороговой модели
• Одним из возможных вариантов использования обученной модели является проверка работы порогового алгоритма - предлагается отдельно проверять те сеансы, на которых наблюдается значительное расхождение в результатах детектирования пожаров двумя способами

Разработка методов детектирования пожаров по данным прибора МСУ-МР

Сравнение работы алгоритмов на сеансах

Разработка методов детектирования пожаров по данным прибора МСУ-МР

​

• Для решения задачи детектирования пожаров, как классификации табличных данных был заново собран набор данных с опорой на точки, определенные как пожарные пороговым алгоритмом и дополнительно подтвержденные горячими точками с соседних сеансов других приборов (MODIS, VIIRS итд). В результате улучшилась корреляция между выборкой и реальными данными. Протестированная на всех сценах МСУ-МР за 2022 год, покрывающих территорию РФ, обученная модель показала близкий результат с пороговым алгоритмом детектирования. При этом для данной задачи единственный способ повышения эффективности работы модели является дальнейшее уточнение обучающей выборки.
• Изучение разницы в работе обученной модели и порогового алгоритма привело к выводу о полезности совместного использования методов для проверки получаемых результатов.

Заключение