Использование диффузионной модели для задачи увеличения изображения

​

Калязин Николай

Диффузионные модели являются сильным инструментом для решения различных задач компьютерного зрения. Их способность генерировать изображение помогает и в задачах восстановления изображений

Использование предобученной диффузионной модели для решения задач восстановления изображение стало популярным направлением в научном сообществе в последние два года

Существует большое количество различных деградаций, под которые надо обучать новую диффузионную модель, что может слишком затратно как по времени, так и по вычислительным ресурсам

2024

Мотивация

•

•

•

01.

Задача восстановления изображений

2024

Что такое Image Restoration?

Low Quality Image (LQ)

High Quality Image (HQ)

Модуль, который улучшает качество изображения

Какие есть деградации?

• Есть два типа деградаций, которые интересуют:
• Линейные деградации: уменьшение размера изображение, маскирование картинки для Inpainting, гауссовский блюр
• Нелинейные деградации: неоднородной блюр, JPEG компрессия, Phase Retrieval, и разные комбинации нелинейных деградаций с линейными
• Также деградации делятся на синтетические и реальные, первые получаются с помощью заданных заранее операторов деградации, другие получаются в результате работы камеры

Виды деградаций

Diffusion Posterior Sampling for General Noisy Inverse Problems

02.

Алгоритм восстановления изображения с помощью градиента

2024

Classifier Guidance

FreeDoM: Training-Free Energy-Guided Conditional Diffusion Model

Коррекция градиента

03.

Результаты работы

2024

Количественные результаты

Визуальные результаты на CelebaHQ

Визуальные результаты на ImageNet