Прототип системы обнаружения пиратской съемки в кинозалах

Андрей Аликберов

18.02.2023

Дипломные руководители

Василий Швец

Максим Монахов

начало обучения 24.09.2021

• Разработать систему обнаружения бликов объективов, направленных из кинозала в сторону экрана
• В кинозале темно, есть только отраженный свет от проецируемого на экран кинофильма
• Объектив пиратского устройства (как правило это мобильный телефон) неподвижен

​

Постановка задачи

Цель

• Разработать систему обнаружения бликов неподвижных объективов, направленных в сторону экрана

1. проверить возможность использования стандартного инфракрасного видеонаблюдения в кинотеатрах
2. найти аппаратные средства, позволяющие выявлять скрытую видеосъемку
3. собрать и разметить датасет с кадрами, имеющими блики объективов
4. подобрать архитектуру нейросети и ее параметры, позволяющие корректно обнаружить блики хотя бы на каждом втором кадре видеосъемки

Задачи

Проверка возможности использовать стандартное видеонаблюдение

Была проведена съемка в восьми кинозалах кинотеатра Окко на Щелковском шоссе.

При увеличении кадров до максимума размер устройства на изображении составляет 4–5 пикселей, объектив вообще не виден

Вывод: стандартное видеонаблюдение не подходит, нужно более высокое разрешение

Аппаратные средства, позволяющие выявлять скрытую видеосъемку

Устройство состоит из четырех компонентов:

• обычный мобильный телефон (Андроид)
• кронштейн для крепления моб.телефона к микроскопу/телескопу
• монокуляр - прибор обнаружения скрытой съемки “Ворон” (https://detsys.ru/catalog/sredstva-obnoruzhenya-kanalov-utechki-informacii/obnaruzhenie_videokamer/voron/ )
• тренога для съемки мобильным телефоном

Сбор и разметка датасета с кадрами, имеющими блики объективов

• Любой объектив от засветки светодиодным прожектором “Ворона” дает характерный красный блик.

​

• Для обучения нейросетки были сняты видеоролики, на кадрах которых отмечены эти характерные блики (использовался сервис https://cvat.org, для архитектуры Unet разметка выгружалась в формате CamVid 1.0, для архитектуры Yolo разметка выгружалась в формате Yolo 1.1)

Обучающая база

Объем базы�770 кадров для варианта Unet

1052 кадров для варианта Yolo v7 (за счет кадров без бликов)

Источник и инструменты сбора данных�Съемка на Galaxy A41 02.04.2022 в небольшом кинозале Нивада, Москва, ЖК Золотые Ключи, владелец Вадим Никишин

Съемка в домашних условиях с добавлением:

• глаз собаки
• бинокль
• оптический прицел

Возникшие трудности при сборе базы�отключение cvat.org из-за санкций

​

​

​

Вариант 1.0 Unet

https://colab.research.google.com/drive/1L8-DlzlERrwe9HL02EL6PZZg32kbnFWT?usp=sharing

​

Разрешение 1440х816 (исходное 1920х1080), дообучение по ~100 изображений, по 100 эпох, batch_size=1

​

Точность 82%, правильное определение отблеска на 4-х из 5 кадров - приемлемый результат. Но много лишних бликов

​

Вариант 2.0 Unet

https://colab.research.google.com/drive/1XuE4F0rvAB-20MF7lbPevttLW4gQw-NS?usp=sharing

​

Разрешение 1440х816 (исходное 1920х1080), дообучение по 100 изображений, по 100 эпох, batch_size=1

​

Точность 98%. Лишние блики есть, но существенно меньше. Подтверждена гипотеза, что датасеты с биноклем и оптическим прицелом мешают

​

Варианты 2.1 и 2.2 Unet

Бинокль определяется с точностью 71% https://colab.research.google.com/drive/1lJTZjPDlKCh4eC-lQ7xnnece4zpsHu4D?usp=sharing

​

Оптический прицел определяется с точностью 78% https://colab.research.google.com/drive/151AW5_w9kTbSEJMx3nXvHiAzaKUegMrD?usp=sharing

​

Варианты на Yolo v7

https://colab.research.google.com/drive/1Z8XOJyUvlTe7GWOdadPHfNyoyqexs6QZ?usp=sharing

​

Разрешение 1440х816 (исходное 1920х1080), 100 эпох, batch_size=4

Точность очень низкая, если и определяется, то не то

​

Разрешение 1920х1080), 100 эпох, batch_size=2 Точность приемлемая, но проигрывает Unet, поскольку требует большего разрешения на вход

• Все задачи для достижения цели выполнены
• Прототип системы обнаружения бликов неподвижных объективов, направленных в сторону экрана, успешно создан (неподвижность будет определяться на стороне приложения по условию - координаты блика, найденного нейросетью, не должны меняться на протяжении какого-то количества времени/кадров)
• Наилучшая архитектура: Unet

Заключение