Без сотрудников не обойтись:
как мы (пока) не стали счастливее с LLM
Юлия Гурджи
Руководитель группы по контентным политикам
Заметки про Одноклассники
Отметили 20 лет!
Фокус: аудитория 55+ (Silver Age)
Основные UX-сценарии: общение и просмотр Ленты
34
млн
MAU
Заметки про Одноклассники
Отметили 20 лет!
Фокус: аудитория 55+ (Silver Age)
Основные UX-сценарии: общение и просмотр Ленты
Лента — основной канал time spent
и источник монетизации
34
млн
MAU
Заметки про Одноклассники
Отметили 20 лет!
Фокус: аудитория 55+ (Silver Age)
Основные UX-сценарии: общение и просмотр Ленты
Лента — основной канал time spent
и источник монетизации
Задача продактов ОК — создавать
завлекающую интересную пользователю Ленту.
Счастливый пользователь — платящий пользователь ☺
34
млн
MAU
Отвечаю
за контентные политики
в Одноклассниках
Определить, что показывать пользователям
Основные задачи
Определить, что не показывать пользователям
Юлия Гурджи
Руководитель группы
по контентным политикам
Чтобы дистрибутировать контент�в пользователя, контент должен быть�размечен. Весь контент.
Как быстро и качественно
размечать огромные
массивы данных?
Множество контента
Размеченный контент
Разметка
контента
по тематикам
Размеченный контент
Размеченный контент
Работаете�с рекомендациями?
Без разметки тэгами, атрибутами�или признаками не обойтись
Делюсь опытом VK, Одноклассники
Чем качественнее�и детальнее размечен�контент, тем точнее�будут рекомендации�для пользователя�
Точнее рекомендации
Пользователь счастлив
и дольше сидит в соцсети
Компания счастлива
и больше зарабатывает
1
2
3
Проблема бизнеса�
Множество групп в ОК
Группа
про здоровье
Тэгирование групп по тематикам
Группа
про еду
Группа
про рукоделие
Проблема пользователей
Смешанная лента
контента в Silver Age
Пользователям не хватает
информации, по которым решают
начинать читать пост или нет
Как нам научиться�размечать контент детальнее?
Размечать командой модерации
✅ Качественно
❌ Долго
❌ Дорого
❌ Нет готового инструмента
Как нам научиться�размечать контент детальнее?
Размечать командой модерации
Попробовать LLM
✅ Качественно
❌ Долго
❌ Дорого
❌ Нет готового инструмента
❓ Качественно
✅ Быстро
Классическая архитектура пайплайна
LLM
Валидация
Эскалация
на модератора
Обратная
связь в модель
1
2
3
4
Первый подход
Задача
Сделать быстро,
просто и максимально
надёжно
Первый подход
Задача
Вводные
Берём только текстовый контент
для быстрой обработки VK LLM
Сделать быстро,
просто и максимально
надёжно
Первый подход
Задача
Вводные
Берём только текстовый контент
для быстрой обработки VK LLM
Берём только проверенных авторов
Сделать быстро,
просто и максимально
надёжно
Первый подход
Задача
Вводные
Берём только текстовый контент
для быстрой обработки VK LLM
Берём только проверенных авторов
Создаём облако тэгов
на основе поисковых запросов юзеров
Сделать быстро,
просто и максимально
надёжно
Критерии текстового контента для разметки
Пост осмысленный;
100+ символов текста
Пост-картинка; видео
без текста; < 100 символов
Критерии текстового контента для разметки
Пост осмысленный;
100+ символов текста
Пост соответствует
тематике группы
Пост-картинка; видео
без текста; < 100 символов
Группа про еду,
пост — про погоду
Результаты сэмплов
Сэмпл 1
LLM
не смогла
разместить
Всё ок
LLM
ошиблась
22%
66%
13%
Сэмпл 2
LLM
не смогла
разместить
Всё ок
LLM
ошиблась
23%
67%
13%
Приемлемо! Пробуем
Продуктовые проблемы
Галлюцинации LLM
Продуктовые проблемы
Галлюцинации LLM
Низкий процент
покрытия разметкой
Продуктовые проблемы
Галлюцинации LLM
Ошибки
вердиктов
Низкий процент
покрытия разметкой
Продуктовые проблемы
Галлюцинации LLM
Ошибки
вердиктов
Низкий процент
покрытия разметкой
Нет разметки
на медиа
Без помощи команды модерации не обойтись
Проверка бОльших сэмплов → выявление ошибок LLM
1
Без помощи команды модерации не обойтись
Проверка бОльших сэмплов → выявление ошибок LLM
1
Поиск ошибочных вердиктов
на фронте
2
Без помощи команды модерации не обойтись
Проверка бОльших сэмплов → выявление ошибок LLM
1
Замена неверно
проставленных тэгов
3
Поиск ошибочных вердиктов
на фронте
2
Без помощи команды модерации не обойтись
Проверка бОльших сэмплов → выявление ошибок LLM
1
Замена неверно
проставленных тэгов
3
Поиск ошибочных вердиктов
на фронте
2
Предложение
новых вердиктов LLM
4
Без помощи команды модерации не обойтись
Проверка бОльших сэмплов → выявление ошибок LLM
1
Замена неверно
проставленных тэгов
3
Поиск ошибочных вердиктов
на фронте
2
Предложение
новых вердиктов LLM
4
LLM не сделает эти задачи
без участия людей
А что с пользователями? UX-сценарии
До LLM
А что с пользователями? UX-сценарии
До LLM
C LLM
А метрики?
CTR новых
подразделов < 4%
+ 8–10 млн минут TS
А что с пользователями?
CTR новых
подразделов < 4%
+ 8–10 млн минут TS
Не собрали данные
об интересах
пользователей
TS вырос за счёт
совокупности
факторов
Отказываемся от разметки LLM?
Что дальше?
Меняем подход к детальной разметке
Было
Отображение разметки
на фронте
Что дальше?
Меняем подход к детальной разметке
Было
Пробуем
Отображение разметки
на фронте
Используем разметку
на бэке для персонализации
рекомендаций
Чек-лист для работы с LLM
Определите цели, метрики и образ результата
Чек-лист для работы с LLM
Определите цели, метрики и образ результата
Выберите модель, удобную команде
Чек-лист для работы с LLM
Определите цели, метрики и образ результата
Выберите модель, удобную команде
Сформулируйте MVP и правила разметки
Чек-лист для работы с LLM
Определите цели, метрики и образ результата
Выберите модель, удобную команде
Сформулируйте MVP и правила разметки
Напишите промпт
Чек-лист для работы с LLM
Определите цели, метрики и образ результата
Выберите модель, удобную команде
Сформулируйте MVP и правила разметки
Напишите промпт
Рассчитайте сэмпл для проверки вердиктов
Чек-лист для работы с LLM
Определите цели, метрики и образ результата
Выберите модель, удобную команде
Сформулируйте MVP и правила разметки
Напишите промпт
Рассчитайте сэмпл для проверки вердиктов
Проработайте ошибки и дообучите модель
Чек-лист для работы с LLM
Определите цели, метрики и образ результата
Выберите модель, удобную команде
Сформулируйте MVP и правила разметки
Напишите промпт
Рассчитайте сэмпл для проверки вердиктов
Проработайте ошибки и дообучите модель
Изолируйте внедрение LLM от других фич
Чек-лист для работы с LLM
Определите цели, метрики и образ результата
Выберите модель, удобную команде
Сформулируйте MVP и правила разметки
Напишите промпт
Рассчитайте сэмпл для проверки вердиктов
Проработайте ошибки и дообучите модель
Изолируйте внедрение LLM от других фич
Катите в прод
Руководитель группы
по контентным политикам
Юлия Гурджи
Спасибо! Вопросы?
j.gurdzhi@vkteam.ru