Сектор 11.1 репродукции и синтеза цвета

Институт проблем передачи информации имени А.А. Харкевича

Сектор 11.1: Репродукции и синтеза цвета

Вычислительная цветная фотография

Оптическая сортировка для ЭКО и АГРО индустрии

Распознавание в медицинских тестовых системах

Вычислительная цветная фотография и репродукция цвета

Точная цветовая репродукция и вычислительная фотография

Технология мобильной спектрометрии

Направления исследований

Формирование изображения в камере

Karaimer, Hakki Can, and Michael S. Brown. "A software platform for manipulating the camera imaging pipeline." European Conference on Computer Vision. Springer, Cham, 2016.

Мы разработали собственные решения для баланса белого, теневой коррекции линз, преобразования цветового пространства (Европейский патент) и устранения шума.

​

Текущие задачи: спектральная реконструкция, оценка освещения, преобразование цветового пространства.

0 -Observing spectra

Задача доменной адаптации

​

​

​

Материалы поданы на CVPR 2023

Создан новый способ использования уже настроенного нейросетевого конвейера обработки изображения на одном устройстве для использования на другом (задача доменной адаптации).

Для адаптации разработанного нейросетевого конвейера обработки нам достаточно лишь 10 (!) пар изображений.

​

Нейросетевой конвейер обработки изображения:

Cube++ датасет для оценки освещения

За последние два года мы получили заявки от

• Honor,
• Xiaomi,
• GoPro,
• Adobe,

а также большого числа научных коллективов.

Наша команда собрала и опубликовала самый большой в мире датасет (4366 изображений!) для оценки освещения.

Ershov, E., Savchik, A., Semenkov, … et. all. (2020). The Cube++ Illumination Estimation Dataset. IEEE Access, 8, 227511-227527.

Распределение освещения в сцене

Предложена новая постановка задачи оценке всего распределения точек белого в сцене.

​

Предложены новые нейросетевые алгоритмы для оценки распределения освещения.

Подано на ICCV 2023

Технологии мобильной спектрометрии

​

Наш коллектив разработал технологию спектральной реконструкции красителей объектов с точностью профессиональных колориметров, что необходимо в:

• дерматологии;
• подборе красителей;
• задачах агропромышленности.

Дерматология

Мир красоты�и моды

Анализ красителей�(авто, ремонт, печать и тд.)

Эстетическая фотография

​

​

Мы — организаторы международной коллаборации ученых из Канады, Италии, Хорватии и Лондона (в лице всемирно известного фотографа Майкла Фримана, автора более 100 книг об искусстве фотографии) задачи которой:

• Организация международного соревнования по качеству рендеринга изображений в рамках конференции Computer Vision and Pattern Recognition (A*) среди ученых и корпораций (Google, Huawei, Xiaomi)
• Статистическое изучение взаимосвязи эстетических предпочтений и различных параметров коррекции

​

Чему же у нас учат?

Распознавание в медицинских тестовых системах

При определении группы крови крайне важны скорость и точность, которые значительно повышаются при автоматическом распознавании выходов реакций.

Разработанный алгоритм применим в 80% российских тестов на группу крови.

определение выходов реакций, а по ним — группы крови

сканирование планшета

Определение групп крови

раскапывание реагентов

Определение выходов реакций

эритроцит

да нет нет

да нет

Есть ли агглютинация? Более сложные случаи

Разработано нейросетевое решение, позволяющее достичь почти 99%-ной точности классификации выходов реакций.

В данный момент наш алгоритм внедряется в коммерческий продукт компании-партнера Synteco.

​

Чему же у нас учат?

Технологии оптической сортировки

Система аналитики потока отходов

Разработан MVP продукта Wastie по анализу морфологии потока отходов для 5 категорий: пластиковые пакеты, пластиковые бутылки, стеклянные бутылки, бумага, картон.

​

Система успешно функционирует на производствах ЭкоТехноМенеджмент в г. Кострома на высокоскоростной ленте и на МСЗ-4 в г. Москва.

​

Накопленная экспертиза:

1. Сформирована элементная база (сенсорика, освещение, металлоконструкции)
2. Спроектирована конструкция для установки сенсорной системы с учетом специфики эксплуатации
3. Выработана кодовая база MVP

Ближайшие планы

• Установить еще одну точку аналитики на точке пересыпа отходов на МСЗ-4.

​

• Создать рабочий макет системы сортировки отходов.

​

• Разработать первый прототип модели определения веса объектов по их bounding boxes.

​

​

Агропромышленная сортировка

Мы активно развиваем технологии оптической сортировки в агропромышленном комплексе.

​

1. Реализован прототип технологии обнаружения картофеля на конвейерной ленте.
2. Изучены свойства излучения, отраженного от сортового и бракованного картофеля, в диапазоне от 300 нм до 1,7 мкм.
3. Написано 2 научных публикации по оптической классификации картофеля.

Егор Ершов

Ученый, занимающийся компьютерным зрением и машинным обучением

​

Кандидат наук, глава Сектора Репродукции и синтеза цвета ИППИ РАН

Главный инженер и сооснователь ООО EKSLi

Доцент и заместитель начальника отдела в МФТИ

Доцент ВШЭ

Редактор журнала Информационные процессы

​

​

​

Области исследований: компьютерное зрение, вычислительная фотография, анализ изображений, визуальная одометрия, медицинское компьютерное зрение, SLAM, оптимизация, статистика

Тема кандидатской работы: “Быстрое преобразование Хафа как инструмент анализа двумерных и трехмерных изображений в задачах поиска прямых и линейной кластеризации”

+7 985 979 8696

e.i.ershov@gmail.com

Статьи: 76 (Q1: 1, Q2: 3)

Цитирование: 250

H-index: 9

I10-index: 5

Автор Европейского патента метода преобразования цветового пространства

Конференции

CVPR: 2021, 2022

ICVS: 2019

ISPA: 2019 - 1ое место в международном соревновании по оценке освещения

(2ое место — Google team)

Huawei workshops: 2018-2022 � (x3 награда за лучшее выступление)

OPTIMA: 2014

ICMV: 2015, 2018 (лучшая публикация), � 2019, 2020

ICRMV: 2016

ECMS: 2015, 2016, 2017, 2020, 2022

ITaS: 2014-2022

ИТНТ: 2020, 2021, 2022

TMS: 2017 (лучшая работа)

​

Организаторы международного соревнования по цифровой фотографии в рамках воркшопов ICMV и CVPR. 2020-2022

​

Соорганизаторы ежегодной конференции ИТИС, проводимой ИППИ РАН 2018-2022. Проводимая секции: Компьютерное зрение и машинное обучение.

Наша команда

Публикации

1. The Cube++ Illumination Estimation Dataset. IEEE Access, 2020
2. A simple method for comparing peripheral and central color vision by means of two smartphones. Behaviour Research Methods, 2022
3. Experimental Study of Radial Distortion Compensation for Camera Submerged Underwater Using Open Salt Water Distortion Data Set. Journal of Imaging, 2022
4. On the properties of some low-parameter models for color reproduction in terms of spectrum transformations and coverage of a color triangle. JOSA A. 2022
5. NTIRE 2022 challenge on night photography rendering. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition
6. Learned smartphone ISP on mobile gpus with deep learning, mobile AI & AIM 2022 challenge: Report. In 2019 IEEE/CVF European Conference on Computer Vision Workshop (ICCVW)

Papers: 76 (Q1: 2, Q2: 7)

Citations: 250

H-index: 9

I10-index: 5�

Авторы Европейского патента метода преобразования цветового пространства

Наши научные партнёры

Спасибо за внимание

​

students@eksli.com

tg: @shutova_alina