1 of 16

Команда “werserk”

Оценка активности команды путем анализа видео

01

2 of 16

>4 лет разработки ИИ
>10 побед в хакатонах
Победитель конкурса ЛЦТ на соискание премий мэра Москвы
Разработал и интегрировал ИИ в мед. гос. учреждения Москвы
Организовал хакатоны от Т-банка, VK и НИУ ВШЭ

Я из Анапы

1 vs 5

Учусь на ФКН

Состав команды

Кирилюк Максим�tg: @werserk

02

Эксперт Хак Клаба HSE

Иронично, что я в команде один и выбрал трек аналитики активности команды. Но участвую один я не от безысходности - у меня богатый опыт хакатонах и в разработке ИИ, так что это скорее вызов.

Сейчас учусь и работаю в Москве, но вообще я из города Анапы. А здесь вы можете видеть комичную ситуацию: здесь я в 18 лет занял второе место из приблизительно 40 команд количеством до 5 человек и обогнала меня лишь одна. Поэтому я считаю, что участие в одиночку не ограничивает возможности, а наоборот раскрывает. Пусть и одного человека :)

Итак, к делу.

3 of 16

Проблема

Участник 1:

*10 минут говорит о том, что надо решить проблему*

Участник 2:

*Спорит с ним и говорит, что это займёт слишком много времени*

Участник 3:

*ещё в начале сказал, что сделает эту задачу сразу после звонка*

Коммуникация должна быть продуктивной

Наша задача - найти сотрудников, которые решают проблемы

03

А какую вообще проблему я хочу решить?

В современных командах, особенно при удаленной работе, наблюдается проблема неравномерного участия в обсуждениях. Некоторым сотрудникам, которые говорят мало, удается вносить значимый вклад в обсуждение, тогда как другие, напротив, тратят время на длинные, но малоинформативные реплики. Такая ситуация приводит к снижению общей эффективности команды и затягиванию встреч до нескольких часов.

На слайде, пример, конечно, немного утрированный, но смысл ясен: нам особенно важно найти сотрудников, по-настоящему решают проблемы, а не просто говорят о них. Именно они и нужны компании. А те, кто лишь имитирует бурную деятельность - нет.

4 of 16

Продукт

Программный комплекс на основе алгоритмов ИИ и компьютерного зрения.

Базовая функциональность:

Поддерживает как обработку записи, так и real-time съёмки*
Работает на любом разрешении: от камеры с ноутбука до профессиональной на 360°
Поддержка большинства форматов: mp4, mkv и др.
Доступен в веб-интерфейсе

04

Особенности:

Распознаёт и запоминает голос спикера даже если его нет в кадре
Распознаёт и запоминает пользователей по изображению
Сопоставляет продолжительность выступлений и их содержательность (индекс продуктивности коммуникаций - ИПК)

*real-time поддерживает не всю функциональность

Мой продукт - это программный комплекс на базе ИИ и комьютерного зрения.

У него есть базовая необходимая всем функциональность, а так же особенности - алгоритм распознаёт, соотносит и запоминает 3 сущности: имя, изображение и голос. Благодаря этому можно сразу понять, кто говорит, даже если человек не присутствует в кадре.

А так же моя экспериментальная задумка - индекс продуктивности коммуникаций, он помогает ранжировать участников по тому, насколько эффективно они умеют разговаривать. Об этом я расскажу подробнее чуть позже.

5 of 16

Используем современные модели из свежих статей и топовых мировых бенчмарков

(Например, используем модель с >99% точностью определения лиц конца 2023 года)�

Распознавание множественных спикеров с одного устройства�(иногда с одного устройства подключается несколько человек, сидящих рядом)

Фокус на самом важном - содержании�(Эмоции и жесты зачастую не коррелируют с важностью тезисов)��
Оцениваем не только количественные метрики, но и качественные�(Измеряем индекс продуктивной коммуникации)

Инновационность и оригинальность

05

6 of 16

Как работает ранжирование по ИПК?

Инициативность

��

Конструктивность��Анализ тезисов с помощью модели BERT (выделяет ключевые слова!)�

Успех инициативности��

06

И как же работает Индекс продуктивности коммуникации?

Я хотел создать комплексную, масштабируемую и настраиваемую оценку, которая смогла бы могла балансировать между оценкой эффективного времени и генерации новых идей. А в этом процессе неизбежны как удачные, так и неудачные идеи.

Поэтому сначала я разработал 3 другие метрики:

инициативность - количество выдвинутых человеком тезисов

успех инициативности - сколько в итоге идей было одобрено

конструктивность - насколько тезисы были аргументированны и объективны. Эту метрику я узнаю с помощью нейросетевой модели Bert, которая не только точна, но и интерпретируема - она показывает, на какие слова опиралась при принятии решения о “конструктивности” реплики

7 of 16

ИПК�(индекс продуктивной коммуникации)�

�

Как работает ранжирование по ИПК?

*IPC- Index of Productivity Communication

07

8 of 16

Внедрение

Открытые технологии

Сниженные затраты на поддержку и улучшение

2-5 человек по 100тыс./мес

Бесплатные технологии�

Подписки на софт - 0р./мес

Покупка софта - 0р.

Минимальные системные требования�

Стандартный ноутбук или сервер с видеокартой NVIDIA RTX2060 12Gb - 50тыс. за 20-30 человек

Покупка камер��Покупать камеры 360 не нужно - работаем с любыми устройствами и форматами - 0р.

Единоразово: 50тыс. * 1000чел. / (20~30)чел. = 1.6млн~2.5млн. за 1000 чел. �Ежегодно: 100тыс. * (2~5)чел. * 12мес. = 2.4млн~6млн.�Итого за 3 года на 1000 чел.: 9млн~20млн

08

9 of 16

Экономика. Данные

09

Средняя З/П�

112 тыс. / мес., т.е. �1.3 миллиона в год

ЦА��7 тыс. руководителей +

18 тыс. специалистов

Время встреч��До 57% у руководителей,�До 20% у специалистов �(23 и 8 часов в неделю)

Неэффективное время��57-71% сотрудников считают ВКС непродуктивными

Что по экономике?

Я постарался провести грамотный экономический анализ, поэтому старался брать проверенные источники - отчёты росстата, данные татнефти, статьи журнала гарвард бизнес ревью и опросы сотрудников майкрософт.

Итог исследований - это осознание реальной проблематики и выгоды от её решения. До 57% процентов времени руководителей уходит на встречи - это до 23 часов в неделю. Руководителей в татнефти - тысячи, а ведь ВКС пользуются и многие другие сотрудники, пусть и в меньшем количестве.

10 of 16

Экономика. Эффект

Оценка экономии времени.

Гипотеза: сократим время ВКС на 10-15%.

Допустим, гипотеза оправдалась со значением 12.5%.

Тогда в неделю экономит�специалист - 0.125 * 8 ч = 1ч,�а руководитель - 0.125 * 23ч = 2.5ч

В год - до 52 ч и до 130 ч соответственно

Экономия в денежном выражении.

Если средняя часовая зарплата 650 рублей, то экономия составляет 650 * 52 = 34 тыс. для специалиста и 650 * 130 = 84 тыс. для руководителя

Если на продукт перейдёт 10% сотрудников ТатНефти, то экономия составит 34 тыс. * 1.8 тыс. + 84 тыс. * 700 = 120 млн рублей

10

11 of 16

Допустим, вводим продукт посредством A/B тестирования:�в 1-ый год - 10%�во 2-ой год - 30%�в 3-ий год - 50%

Тогда за 3 года:�Расходы. �8 млн + 23 млн + 34 млн = 60 млн�Экономия.�120 млн + 360 млн + 600 млн = 1.1 млрд рублей

Экономика. Итог

Итоговая выгода за первые 3 года: �1 млрд рублей

11

12 of 16

Экономика. Риски

12

Непредвиденные расходы: Дополнительные расходы на поддержку могут увеличить затраты на 10-20% (до 2 млн рублей в год), что приведёт к снижению итоговой выгоды на 6 млн рублей за три года.
Плохое принятие продукта: Если в первый год перейдёт не 10%, а 5% сотрудников, экономия сократится до 60 млн рублей, что снизит общую выгоду на 120 млн рублей за три года.
Ошибка в прогнозах: Если реальная экономия времени составит 8% вместо 12.5%, это приведёт к снижению экономии на 40% и уменьшению итоговой выгоды до 600 млн рублей.

13 of 16

13

Техническая реализация

Аудио

Модель определения спикеров

Модель определения текста

Корректор текста

Сырой текст

Субтитры от каждого спикера

pyannote.audio

Whisper*

Beam search

14 of 16

14

Техническая реализация

Видео

Модель детекции лиц

Лицо

Делим на кадры (как в кино - 24)

Идентификатор лиц

Имя спикера

Написаны на C++ - залог наилучшей скорости:�0.02с-0.1с на кадр, т.е. 10-50 кадров в секунду

>99% точность

15 of 16

Масштабирование

Суммаризация конференции с основными тезисами
Автоматическое назначение задач как результаты ВКС
Автоматическая отправка писем или поиск информации в интернете во время разговора по запросу

15

16 of 16

16