Беляков Никита Викторович,

5 курс 501 группа специалитета ФКИ МГУ

им. М.В. Ломоносова�231 группа НС

2023

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА Электро Л2

​

Курс «Нейронные сети и их применение в научных исследованиях»

Цели и задачи работы:

Динамическая семантическая сегментация облачности и снежного покрова в каждый момент съемки геостационарного метеорологического КА Электро Л2 по мультиспектральным данным с его съемочной аппаратуры МСУ-ГС.

​

КА Электро Л2 и его полезная нагрузка

Зона съемки КА Электро Л2

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Изображение Земли в каждом из каналов с КА Электро 2

​

Формат и описание данных аппаратуры МСУ-ГС:

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Формат хранения данных после обработки:

HDF5 формат хранения

• Данные с каналов МСУ-ГС из формата .L15 переводятся в формат HDF5 с преобразованием в значения radiance для видимого спектра и Brightness Temperature (BT) для ИК каналов.
• Дополнительно осуществляется привязка пикселей к географическим координатам
• На данный момент съемки вычисляется матрица углов коррекции по углу Зенита Солнца.

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

После обработки мультиспектральных снимков нужно получать маски облачности и снега в каждый момент выдачи новых снимков (раз в полчаса):

​

Формат выходных данных и постановка задачи: семантическая сегментация на 3 класса

RGB

RGB

masks

masks

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Пороговое вычленение масок облачности из 6 и 9 ИК каналов Электро Л1

Методы, подходы и алгоритмы:

​

Получение масок облачности за счет

Вейвлет (Wavelet) преобразования

Все они имеют ряд ограничений, сильно зависят от конкретного участка съемки, сезона и времени суток, настраиваются вручную и показывают неточные результаты при отсутствии необходимых узких каналов в спектре SWIR (1300 нм).

Для выделения масок облачности и снега используются статистические методы и пороговые классификаторы.

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Анализ датасетов с других спутников (предпосылки к созданию собственной выборки):

• Неточная разметка облачности
• Нет разметки для снега
• Черные скосы изображений из-за смены проекции снимков
• Высокое разрешение съемочной аппаратуры КА (30 м)
• Спектры каналов отличаются от аппаратуры МСУ-ГС

• Мало экземпляров в выборке (всего 80 изображений)
• Другое разрешение съемочной аппаратуры КА (30 м)
• Спектры каналов отличаются от МСУ-ГС

​

• Нет самих изображений, только маски облаков
• Другое разрешение съемочной аппаратуры КА (250 м)
• Частота выдачи снимков отличается от МСУ-ГС

• Электро Л Textures

• Датасет не покрывает всего Земного шара
• Другое разрешение съемочной снимков (160 м)
• Спектры каналов отличаются от МСУ-ГС
• Сильный дисбаланс классов

​

• Levir CS

• Слишком мелкие текстуры размера 11*11 пикселей
• Класс снег\облако присваивается текстуре 44 км
• Данные в значениях radiance и brightness temperature

• 38-Cloud
• 95-Cloud

• SPARCS

• CloudCast

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Анализ результатов имеющихся работ:

Архитектура модели GeoInfoNet:

Архитектура модели сверточного классификатора

для текстур (11*11*5) с Электро Л2:

predict

human labeled

RGB image

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Вход для нейросети: дополнительные каналы геоинформации (широта, долгота, высота):

​

Зависимости распределения облачности и снега от широты, долготы и высоты поверхности Земли

Дисбаланс классов снега и облачности:

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

В работе с применением сверточного классификатора к данным с Электро Л2 (классификация структур 11*11 пикселей на 3 класса), основная метрика качества F1-score. Для работ по сегментации облачности и снега на датасете Levir_CS используются метрики micro F1, F1_snow, F1_cloud, micro IoU, IoU_snow, IoU_cloud, FAR (False Alarm Ratio), для датасетов 38-Cloud, 95-Cloud – pixel Accuracy, Kappa-score.

​

Метрики и оценки качества сегментации:

Jaccard Index (Intersection over union):

False Alarm Ratio:

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Используемые модели и их сравнительный анализ:

​

U-Net architecture

DeepLabV3 architecture

MANet architecture

VS

VS

Проведено сравнение 3 архитектур моделей сегментации: U-Net++, DeepLabV3+ и MANet (Multi-Scale Attention Network) из segmentation-models-pytorch с encoder EfficientNet B1.

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Сравнение 3 архитектур моделей сегментации на датасете Levir_CS:

​

MANet architecture

+

+

Для улучшения сходимости обучения и увеличения объема данных используются аугментации, не меняющие спектр в каналах: вращения, отражения (группа D4), ряд геометрических аугментаций (дисторсия, афинные преобразования, растяжения), fancy PCA для R, G, B каналов.

​

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Сравнение 3 архитектур моделей сегментации на датасете Levir_CS (U-Net++):

​

Пример работы MANet на сэмплах из Levir_CS

Предпосылки к созданию собственной выборки

​

ground truth

U-Net++ prediction

RGB

НЕ SOTA

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Сбор собственного датасета с КА GOES-16,17:

• 25509/3601/3598 патчей 224*224 в train\val\test подвыборках
• Диапазон покрытия от 144.6⁰ до 6.3⁰ по долготе и от -81.3⁰ до 81.3⁰ по широте
• 9 каналов: 3 видимых и 6 ИК + 3 канала геоинформации

Снимок с КА GOES-16 с наложенной картой высот и маской снега

Снимок с КА GOES-17 с наложенной картой высот и маской снега

​

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Разбиение изображения с Электро Л2 на патчи 224*224 пикселя (2304 патча с 1 снимка)

Предобработка данных для моделей сегментации:

masks

RGB

DEM

Разбиение патчей при формировании батчей с Электро Л2 формируется с учетом сильного дисбаланса классов (менее 2% снега на снимках), для этого используются метки патчей с наличием снег в масках, они подаются при формировании в батчи намного чаще других (WeightedRandomSampler)

Пример сэмпла с картой высот и масками

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Обучение модели MANet: функция потерь, WeightedRandomSampler, scheduler, optimizer

+

«снежный» патч датасета с GOES-16,17 с масками снега и облачности (Анды)

Используемая функция потерь при обучении

Используемый Ranger21 optimizer с AdamW core и его изменение learning rate при обучении MANet

(β = 0.3)

(ɣ= 2)

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Промежуточные результаты (обучение MANet на собственном датасете с КА GOES-16,17):

Результаты сегментации MANet на снимках с КА GOES-16 и GOES-17

предпосылки к созданию выборки для finetunning’а на данных с Электро Л2

​

SOTA

НЕ SOTA

transfer learning на Электро Л2

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Создание датасета с

КА Электро Л2:

• 9509/1600/1600 патчей в train/val/test подвыборках
• Диапазон съемки от -94.1⁰ до -1.5⁰ по долготе и от -81.3⁰ до 81.3⁰ по широте
• 9 каналов: 3 видимых и 6 ИК +
• 3 канала геоинформации

​

Примеры сэмплов из созданного датасета (snowy patches)

(желтый – маска облачности, бирюзовый - снега)

RGB

masks

DEM

DEM

RGB

masks

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Сравнение собранных датасетов с КА GOES-16, 17 и Электро Л2 с уже имеющимися:

GOES-16,17 Dataset

Levir_CS

SPARCS

GOES-16,17 + Электро Л2

• Более 12К патчей
• Диапазон съемки от -94.1⁰ до -1.5⁰ по долготе и от -81.3⁰ до 81.3⁰ по широте
• 9 каналов: 3 видимых и 6 ИК +

3 канала геоинформации

​

• Более 31К патчей
• Диапазон покрытия от 144.6⁰ до 6.3⁰ по долготе и от -81.3⁰ до 81.3⁰ по широте
• 9 каналов: 3 видимых и 6 ИК +

3 канала геоинформации

+

• Всего 4168 снимков
• Диапазон покрытия не захватывает приполярные зоны и бОльшую часть океанов
• 4 канала: 3 видимых, ближний ИК + 3 канала геоинформации

• Всего 80 снимков
• Диапазон покрытия захватывает только Северную Америку
• 12 каналов: 3 видимых, ближний ИК + 8 каналов дальнего ИК, но нет геоинформации

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Дообучение (finetunning) MANet на датасете с КА Электро Л2:

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Сравненеие MANet со сверточным классификатором на снимках с Электро Л2:

ground truth

CNN classifier prediction

MANet prediction

RGB

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

Сравненеие MANet со сверточным классификатором на снимках с Электро Л2:

• Модель сегментации MANet, обученная на собственном датасете с КА Электро Л2 демонстрирует лучшее качество работы, чем сверточный класссификатор в любое время съемки

Результат сегментации обеих моделей на снимках с КА Электро Л2 в разное время суток на одну и ту же дату

• Обе модели чувствительны к уровню освещенности (съемке в разные часы дня)

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

• В качестве сцен для анализа значимости входных каналов отобрано 20 патчей с одного снимка Электро Л2, где одновременно присутствуют текстуры снежного покрова и облачности, как наиболее сложные для правильного предсказания моделью

​

• Каждый канал отдельно был «испорчен», вместо него N раз (здесь N = 15) на вход модели подавалось нормальный Гауссовский шум с mean, std данного канала.

Explainability и анализ важности входных каналов и геоинформации для модели:

• Качество предсказаний модели MANet наиболее сильно меняется при зашумлении ИК каналов 3.5–4 и 7.5–8.5 мкм (BT4, BT6)
• Суммарная геоинформация улучшает качество сегментации классов снега и облачности
• Карты высот несущественно улучшают качество сегментации

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

• Самыми важные признаки - каналы видимого спектрального диапазона
• Из трех каналов видимого спектра наименьший вклад в предсказание модели дает второй канал 0.65–0.8 мкм
• При зашумлении видимого спектра сильнее всего портится качество сегментации класса снега

Explainability и анализ важности входных каналов и геоинформации для модели:

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​

• Актуальность: На текущий момент нет открытых датасетов с разметкой карт облачности и снега для российских метеорологических КА и КА ДЗЗ с таким типом съемочной аппаратуры (МСУ-ГС)
• Вычленение карт облачности является важной задачей для прогноза погоды, изменения климата и осуществления съемки участков Земли в нужные моменты времени
• Обучена модель, способная разделять классы снега и облачности на снимках с аппаратуры МСУ-ГС
• Проведен анализ важности входных каналов видимого и ИК диапазонов и геоинформации на качество сегментации снежных покровов и облачности
• Составлено 2 новых датасета для геостационарных снимков в низком разрешении с репрезентативной выборкой

Заключение

Future Work

• Дальнейшее уточнение масок облачности и снега, спроецированных с КА GOES-16,17, Terra\MODIS и др. спутников на геостационарную проекцию Электро Л2, дооубучение и валидация качества модели на них
• Дальнейшее использование масок облачности с других КА: HIMAWARI, SEVIRI (Meteosat-9), GEOKOMPSAT 2A для получения обучающей выборки с Электро Л3 и второй половины снимков для Электро Л2 и дообучение на ней
• Увеличения экземпляров обучающего датасета за другие месяцы и даты съемки с КА Электро Л2 и Л3 и добавление в выборку данных с КА Электро Л4 (по окончании его летных испытаний)

Спасибо за внимание!

Нейросетевая сегментация облачности и снежного покрова по данным с метеорологического КА электро Л2

​