ABCDEFGHIJKLMN
1
2
КУПИТЬ БИЛЕТКУПИТЬ БИЛЕТ
3
СКИДКИ НА КОМАНДЫ ДО 30%СКИДКИ НА КОМАНДЫ ДО 30%
4
САЙТ КОНФЕРЕНЦИИСАЙТ КОНФЕРЕНЦИИ
5
МАТЕРИАЛЫ ПРОШЛЫХ ЛЕТМАТЕРИАЛЫ ПРОШЛЫХ ЛЕТ
6
МОЛЕКУЛА (1-2 этаж)КВАДРАТ (3 этаж)АТОМ (3 этаж)АРХАНГЕЛЬСК (1 этаж)ФИЗИКА (1 этаж)
7
29 МАЯ (ЧТ) - МОСКВА, КЛАСТЕР ЛОМОНОСОВ
8
09:00 10:00ВСТРЕЧА УЧАСТНИКОВ КОНФЕРЕНЦИИ НА ПЛОЩАДКЕ, ЗНАКОМСТВО, ОБЩЕНИЕ И НЕТВОРКИНГ, УЧАСТИЕ В СТЕНДОВЫХ АКТИВНОСТЯХ, WELCOME-КОФЕ И ДРУГИЕ АКТИВНОСТИ09:00 10:00
9
10:45 11:00ОТКРЫТИЕ КОНФЕРЕНЦИИ10:30 11:00
10
11
KEYNOTES: ДОКЛАДЫ НА "ШИРОКИЕ" ТЕМЫО РАЗВИТИИ ПРОДУКТОВ ДЛЯ DATA-АНАЛИТИКОВ И ML-РАЗРАБОТЧИКОВКЛАССИЧЕСКИЕ БИЗНЕС-ЗАДАЧИ, РЕШЕННЫЕ С ПОМОЩЬЮ MLA/B-ЭКСПЕРИМЕНТЫ ДЛЯ PRODUCT-МЕНЕДЖЕРОВЛАБОРАТОРИЯ ОТ T-БАНКА
12
13
11:00 11:45АЛЕКСАНДР АБРАМОВ, ИСПОЛНИТЕЛЬНЫЙ ДИРЕКТОР, РУКОВОДИТЕЛЬ AI, ML КОМАНД В RND ДЛЯ B2C, СБЕР ИИ

ТРЕНДЫ И ГЛАВНЫЕ ВЫЗОВЫ В GENAI 2025 Г.

Поговорим про Reasoning model, дистилляцию знаний, "синтетике" как новой реальности, новых витках импакта RL и DeepSeek, трендах на агенты и персонализацию, мультимодальность, которая всё еще sexy		ИВАН КАСТОРНОВ, HEAD OF PRODUCT ANALYTICS, ЛИГА СТАВОК

DATA-DRIVEN ПОДХОД К РАЗВИТИЮ ПРОДУКТА: ОТ ХАОСА К СИСТЕМЕ

Расскажу, как мы выстраивали системный подход к управлению продуктом на основе данных — от гипотез до оценки результатов. Подробно остановимся на том, как сделать аналитику частью продуктовой стратегии, а не сервисом для отчётов. Нам удалось выстроить единый фреймворк принятия решений, сократить количество нерезультативных изменений, достичь стабильного
роста North Star.

Поговорим о том, как построить процесс принятия продуктовых решений на данных - от гипотез до валидации результатов, как находить реальные точки роста, а не просто "что-то улучшать" — и что для этого нужно продукту и аналитике. Поговорим о роли аналитики в стратегии продукта — как перейти от "делаем отчёты" к
"двигаем метрики" и о том, что мешает выстроить Data-Driven культуру в команде - и как преодолеть эти барьеры на практике.
АНДРЕЙ НАРЦЕВ, РУК-ЛЬ APLLIED ML, ЯНДЕКC ДОСТАВКА

ОПЫТ ВНЕДРЕНИЯ ML-ПРОГНОЗОВ В СИСТЕМУ ДИНАМИЧЕСКОГО ЦЕНООБРАЗОВАНИЯ ЯНДЕКС ДОСТАВКИ

Система ценообразования в Яндекс Доставке строится на множестве управляющих воздействий, что делает любое изменение, особенно связанное с применением ML-прогнозов, сложной задачей. Внедрение динамического ценообразования потребовало не только согласованности с существующими алгоритмами, но и решения множества нетривиальных вопросов: как учитывать сезонные тренды спроса, реагировать на нестационарности в стратегиях корпоративных клиентов, адаптироваться к особенностям поведения курьеров и т.д.

В докладе мы разберем ключевые аналитические, продуктовые и ML-вызовы, с которыми столкнулись при внедрении динамического ценообразования для замедленных тарифов, а также поделимся инсайтами и полезными практиками, которые помогли сделать ценообразование еще более адаптивным.

Слушатели смогут лучше понимать сложности внедрения ML-моделей в продукт, заранее предотвращать потенциальные проблемы и применять представленные подходы в своей работе. Разбираемые принципы и практики универсальны, поэтому помогут эффективнее адаптировать ML-решения к динамично меняющимся условиям и требованиям.		ДАРЬЯ ЛЕОНОВА, PRODUCT OWNER, GARAGE EIGHT

A/B-ТЕСТЫ ДЛЯ МИДДЛОВ И ПРОДАКТОВ: КАК ВЫЙТИ ЗА РАМКИ «ПРОСТО ЗАПУСКАЕМ ЭКСПЕРИМЕНТЫ»

Ценность этого доклада в том, что он помогает аналитикам и продактам выйти из операционного режима "запустили -> проверили -> забыли" и начать строить эксперименты осознанно: от бизнес-цели до интерпретации результатов. Благодаря этому повышается качество принимаемых продуктовых решений, а в продукте приводит к улучшению качеств проводимых тестов и к возрастанию доверия к ним.

Я собрала типичные ошибки и сценарии, которые происходят с продуктовыми аналитиками middle-уровня при работе с A/B-тестами, на основе этих наблюдений сформировала системный подход к проведению экспериментов. Поэтому, подробно поговорим о бизнес-целях и связью с культурой экспериментов (связь со стратегией / измерений долгосрочных эффектов / использование качественных данных и исследований) и коммуникационных проблемах ("мы будем выкатывать, даже если тест проиграл" / сторителлинг / как сделать так, чтобы тесты реально использовали)

Слушатели смогут взглянуть на A/B-тестирование не как на рутину или операционку, а как на инструмент, который влияет на стратегию продукта и использовать А/Б-тесты сонаправленно со стратегией
АНАЛИТИКА — СОВЕСТЬ ПРОДУКТА, А В ОСНОВЕ ЕЁ ЛЕЖИТ МАТЕМАТИКА. В ЭТОМ ГОДУ МЫ ПОСВЯТИЛИ НАШ ЗАЛ МАТЕМАТИЧНОСТИ В АНАЛИТИКЕ И ВСЕМУ, ЧТО С НЕЙ СВЯЗАНО.

ПОГРУЖАЙТЕСЬ В НАШЕЙ «ЛАБОРАТОРИИ» В РЕАЛЬНЫЕ КЕЙСЫ, ОСНОВАННЫЕ НА ДАННЫХ, А ТАКЖЕ УЧАСТВУЙТЕ В АКТИВНОСТЯХ: ПРОВЕРЬТЕ СЕБЯ В МАТЕМАТИЧЕСКИХ ЗАДАЧАХ И ТЕРМИНАХ ИЗ АНАЛИТИКИ, ПРОВОДИТЕ «ЭКСПЕРИМЕНТЫ» В DATALAB И ЗАПИСЫВАЙТЕСЬ НА КОНСУЛЬТАЦИИ ОТ ЭКСПЕРТОВ. В ОБЩЕМ ВСЁ — С ФОКУСОМ НА ИНСТРУМЕНТЫ, МЕТОДЫ И ПОДХОДЫ, КОТОРЫЕ ДЕЙСТВИТЕЛЬНО РАБОТАЮТ НА ПРАКТИКЕ		11:00 11:45
14
УУ
15
11:45 12:30КЕВИН ХАНДА, CPO & CТO, UZUM

КАК ЭКОСИСТЕМА РАСТИТ БИЗНЕС: ЧТО ПРИВЛЕКАЕТ, А ЧТО МОНЕТИЗИРУЕТ

Экосистема — это уже не просто модный термин, а рабочий инструмент, с которым всё больше компаний выходят на рынок. Пользовательский value понятен — удобно, быстро, всё в одном. Но вот что экосистема даёт бизнесу? Где метрики, рост и масштаб?
Разложим по полочкам бизнес-модели экосистем в СНГ: какие есть, зачем их запускают и что реально работает. Без воды — с акцентом на механику и эффекты.
На кейсе Uzum посмотрим, как собрать экосистему, чтобы она не просто существовала, а перформила:
— какие сервисы важны на старте,
— как e-commerce приводит трафик,
— как финтех генерит выручку.

Это будет разговор о продуктах, данных и бизнесе — в правильной последовательности
АЛЕНА СОЛДАТЕНКО, СPO / РУКОВОДИТЕЛЬ ЦЕНТРА АНАЛИТИЧЕСКИХ СЕРВИСОВ BIGDATA, МТС ВЕБ СЕРВИСЫ

СИСТЕМА МОНИТОРИНГА БИЗНЕСА, СПОСОБНАЯ ПРИНОСИТЬ МИЛЛИАРДЫ

Что делать когда данных, отчетов и аналитики становится больше, чем бизнес способен эффективно отслеживать? В рамках проекта "Data alerts" (или детектор аномалий) мы решали задачу оперативного уведомления бизнеса об изменениях в показателях и метриках и почему это произошло. На ретро данных мы зафиксировали эффекты на том, что при наличии детектора аномалий ранее - мы бы обнаружили проблемы, принесшие в совокупности более полумиллиарда убытков, в 10 раз быстрее, что позволило бы кратно сократить потери. Также в процессе разработки инструмента были выявлены инсайты, позволяющие получить дополнительно 1,5- 2 млрд выручки в год. В рамках доклала расскажу о том, как повысить скорость реагирования бизнеса на изменения через авто-мониторинг и динамическую декомпозицию метрик, как с помощью ML и метода подмены задачи искать неочевидные инсайты и точки роста для бизнеса.

Доклад будет интересен аналитикам, руководителям подразделений с большим объемом регулярных отчетов, которые требуют постоянного мониторинга для управления эффективностью, финансистам. Слушатели уйдут с осознанием важности создания подобных инструментов в аналитике и автоматизации мониторинга. При наличии ресурсов и глубокого понимания аналитики в своей компании смогут идейно реализовать подобные системы у себя в компании. Особенно данный подход релевантен для инертных бизнесов с большим объемом стабильной базы и/или процессов (телекомы, маркетплейсы, подписочные сервисы и тд)		НИКОЛАЙ САВУШКИН, РУК-ЛЬ СЛУЖБЫ РЕКОМЕНДАТЕЛЬНЫХ ТЕХНОЛОГИЙ, ЯНДЕКС

БУДУЩЕЕ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ

Наша команда исследует передовые рекомендательные технологии. За последний год нам удалось первыми в России значительно масштабировать размеры рекомендательных моделей, что привело к самым значительным улучшениям наших рекомендательных систем с миллионной аудиторией за последние несколько лет. Интернет рынок размером в сотни миллиардов долларов во многом определяется рекомендательными системами и персонализацией. За ближайшие несколько лет рекомендательные системы значительно изменятся, однако этот тренд видят пока только специалисты. Я расскажу, как персонализация устроена сейчас, как большие генеративные модели внедряются в рекомендательные системы Яндекса, дам прогноз на будущее. Доклад направлен на широкую аудиторию с техническим бэкграундом, знакомит с основными понятиями и показывает технологические тренды.		ИЛЬЯ ФОМИЧЕВ

ИДЕАЛЬНЫЙ CJM: А/Б ТЕСТИРОВАНИЕ НА ПУТИ К УСПЕХУ

Затронем тему А/Б-тестирования для проработки и оптимизации CJM. Поделюсь опытом, того, как мы проводим тестирования, как их оцениваем и какого результата это позволяет достичь. Подробно разберем почему любой продукт нужно начинать с анализа CJM, как находить точки роста в CJM, какие решения работают лучше других и как это понять. Разберем несколько практических кейсов
АЛЕКСЕЙ МИГУНОВ, РУКОВОДИТЕЛЬ АНАЛИТИКИ ИНВЕСТИЦИОННЫХ И ДЕПОЗИТНЫХ ПРОДУКТОВ, Т-БАНК

ПРОДУКТ, В КОТОРОМ ЗАРАБАТЫВАЮТ ВСЕ: КАК МЫ В Т-ИНВЕСТИЦИЯХ СТРОИМ ПЛАТФОРМУ В ФОРМАТЕ WIN-WIN-WIN ДЛЯ КЛИЕНТОВ, ТРЕЙДЕРОВ И БИЗНЕСА

В докладе:

– Расскажу, как устроен маркетплейс инвестиционных стратегий «Автоследование» — платформа, на которой опытные трейдеры создают стратегии, а клиенты могут автоматически им следовать.

– Покажу, как мы используем классические подходы финансовой математики и современные методы анализа данных для отбора лучших стратегий.

— Поделюсь, как мы мотивируем клиентов инвестировать в лучшие стратегии и почему от этого выигрывают и ведущие стратегий, и клиенты, и сам бизнес.		11:45 12:30
16
У
17
12:30 13:15ЕЛИЗАВЕТА КУЗНЕЦОВА, FOUNDER AIBANNER.APP

БЫСТРОЕ ПРОТОТИПИРОВАНИЕ AI-РЕШЕНИЙ: КЕЙСЫ И ВЫВОДЫ

В бизнесе все чаще возникает вопрос: "Давайте прикрутим нейросеть, чтобы было очень хорошо?"Но поможет ли это реально? Насколько это решает проблемы бизнеса? Я расскажу, как собирать прототипы на коленке, чтобы быстро понять, стоит ли инвестировать в полную разработку.
Я поделюсь своими выводами: как быстро проверить, нужен ли продукт, прежде чем тратить время и деньги на его разработку.Как быстро протестировать гипотезу, не тратя бюджет на полную разработку? Когда прототипировать бессмысленно? Как убедить коллег и руководство в необходимости AI-решений? Как показывать ценность AI без сложных объяснений. Какие технологии стоит тестировать сейчас? Как изменится процесс внедрения AI в компании?

Кейсы из практики и демонстрация low-code и no-code на практике.
- Как проверяла гипотезу автоматического запуска рекламы через AI, сделав быстрый MVP. На конференции покажу, как это работало на уровне простого прототипа.
- Расшифровка голосовых сообщений для отдела продаж, которая теперь используется как автообновляемый RAG
- Умный ассистент для техподдержки, собранный за пару дней для тестирования потребности.
- Файнтюн LLM для документации разработчиков

Целевая аудитория доклада — специалисты, которые занимаются внедрением инноваций в бизнес-процессы, тестируют новые AI-решения или работают с прототипами цифровых продуктов. Для ML специалистов он может быть полезен только с той точки зрения, как можно смотреть на проблемы не с точки зрения инженерии. Он ориентирован на людей которые обладают нулевым или низким уровнем владения кода, но не боятся технологий и пока не в курсе, что LLM им могут помочь с компетенцией в области кода генерации, а no code решения со сборкой прототипов. Они узнают, как собирать "прототипы на коленке", проверять их востребованность и принимать решения на основе данных, а не предположений. В рамках доклада дам пошаговый фреймворк для быстрого прототипирования AI-решений		АЛЕКСАНДР СЕМЕНОВ, HEAD OF PRODUCT, Т-БАНК

СКОЛЬКО ЗАРАБАТЫВАЮТ ВНУТРЕННИЕ ПРОДУКТЫ?

Один из основных аспектов работы продакт-менеджера — это работа с экономикой продукта, но как с ней работать, если продукт не продается? Получается, что продукт является только статьей loss в P&L компании?
Расскажу три способа как оценивать экономику внутренних продуктов, на примере платформы продуктовой аналитики Statist.		АЛЕКСАНДР ИСАКОВ, РУК-ЛЬ ГРУППЫ ПРОГНОЗИРОВАНИЯ, ЯНДЕКС ЛАВКА

КАК ПРОГНОЗИРОВАТЬ ТЫСЯЧИ ВРЕМЕННЫХ РЯДОВ И НЕ СОЙТИ С УМА

Доклад о создании и внедрении системы среднесрочного прогнозирования для Яндекс Лавки, которая решила комплексную задачу планирования ресурсов компании в условиях быстрого роста сервиса и высокой волатильности спроса. Основная продуктовая ценность нашего решения заключается в точном прогнозировании ключевой бизнес-метрики (заказов) на полугодовой период. До внедрения нашего решения планирование происходило на основе экспертных оценок и простых моделей, что приводило к серьезным ошибкам в оценке необходимых ресурсов, особенно в периоды пиковых нагрузок или сезонных колебаний. Наша система прогнозирования позволила снизить MAPE (средняя абсолютная процентная ошибка) почти в 2 раза. Также прогнозирование превратилось из технической функции в стратегический бизнес-инструмент, который позволяет принимать опережающие решения и оптимизировать расходы.

Я подробно остановлюсь на том, как мы решили проблему волатильности временных рядов путем приведения данных к стабильному виду и выделения ключевых влияющих факторов, что позволило не только улучшить прогноз, но и объяснять отклонения от плана. Как встроили прогноз в экосистему компании за счет построения процесса обратной связи, работы с ошибками и регулярного анализа. Как сравнивали подходы к прогнозированию множества взаимосвязанных метрик, почему мы выбрали top-down подход и как мы компенсировали его недостатки для тысячи различных разрезов с индивидуальными характеристиками, комбинируя статистические методы и машинное обучение.

Участники конференции получат структурированный фреймворк построения систем среднесрочного прогнозирования, который можно применить в любом бизнесе, сталкивающемся с необходимостью планирования ресурсов. Слушатели смогут правильно формулировать задачу прогнозирования, четко определять горизонт, гранулярность и метрики качества, ориентированные на бизнес-результат.		ГЕОРГИЙ ЕФИМОВ, РУКОВОДИТЕЛЬ СЛУЖБЫ АНАЛИТИКИ, ЯНДЕКС АВТО.РУ

ПОЧЕМУ ФОРМАЛИЗОВАННЫЙ ПОДХОД К ЭКСПЕРИМЕНТАМ - НЕ БЮРОКРАТИЯ, А НЕОБХОДИМОСТЬ

Речь пойдет об организационном подходе к проведению экспериментов, который мы внедрили у себя в авто.ру. За счет этого подхода мы формализовали процесс проведения экспериментов для всех участников (продуктов, аналитиков, разработчиков и дизайнеров) и качественно улучшили фильтрацию гипотез, подпадающих под категорию “нужно проводить А/Б-тест”. Приведу реальные примеры неудачных экспериментов из прошлого когда мы, уже проведя эксперимент не могли нормально подвести его итоги, и покажу как именно новый процесс позволяет такие эксперименты не проводить или проводить по-другому и в результате экономить деньги компании.

Слушатели узнают: почему формализованный подход к экспериментам - не бюрократия, а необходимость в продуктовой компании? Как это позволяет экономить деньги. К какому пайплайну эксперимента мы пришли и как его формализовали. Почему сначала гипотеза, потом логи и метрики и только потом - эксперименты. Как правильно сформулировать гипотезу чтобы ее можно было проверить в эксперименте. Почему важно договариваться о метриках ДО начала эксперимента. Кто как и когда должен подводить итоги эксперимента и когда аналитику стоит начинать заниматься раздебагом эксперимента, а когда стоит просто пойти проверять новую гипотезу. По итогам доклада слушатели смогут пересмотреть подход к экспериментам у себя в компании и сэкономить себе время и деньги компании на проведение экспериментов
ГРИГОРИЙ ЗАСЬКО, ВЕДУЩИЙ АНАЛИТИК, Т-БАНК

ОТ CUPED к MUTLTI-CUPED: БОЛЬШЕ МЕТРИК — БОЛЬШЕ РЕШЕНИЙ, ИЛИ КАК МЫ ПРЕВРАТИЛИ ОБИЛИЕ МЕТРИК ИЗ ШТРАФА В БОНУС»

В нашей Лаборатории прикладной статистики мы ищем способы смотреть на эксперименты с точки зрения пользы для всей экосистемы, а не только отдельных продуктов. Это требует сложных решений, особенно когда речь идёт о сотнях метрик в каждом A/B-тесте — что ведёт к штрафу за множественные сравнения.

Но можно ли превратить обилие метрик в преимущество? Мы нашли способ: многие метрики коррелируют между собой — и это ресурс. Использовав эти связи, мы разработали математические методы, которые позволяют:

– принимать на 10% больше решений;
– ускорять эксперименты на 10–20% (а иногда и в разы);
– запускать важные тесты с потенциалом аплифта.

Что мы сделали:
1) Усилили классический метод CUPED, добавив в него несколько ковариат — так появился Multi-CUPED, который снижает дисперсию ещё сильнее.
2) Перешли к многомерному подходу: рассматриваем метрики как случайный вектор с ковариационной матрицей. Это даёт новый взгляд на эксперименты и помогает ловить сигналы, недоступные в одномерном анализе.

В докладе расскажем, как применять оба подхода на этапах дизайна и анализа, и покажем результаты на примерах экосистемных экспериментов с высокой бизнес-ценностью		12:30 13:15
18
У
19
13:15 14:00ДИЛЯ ХАКИМОВА, ЯНДЕКС

ФОРМУЛА ДОВЕРИЯ: АНАЛИТИЧЕСКИЕ ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ ДЛЯ RATIO- И UPLIFT-МЕТРИК

При анализе А/Б-тестов очень важно смотреть не только на значимость ключевых метрик (прокрасилось или нет) и направление их изменения, но и на риски связанные с внедрением тестируемой фичи. Любое изменение метрики в результатах A/B теста это всего лишь точечная оценка. Она всегда содержит случайную ошибку. С помощью доверительных интервалов мы можем определить какова неопределённость в наших данных и избежать скрытых крупных потерь от "серых" метрик. В Laba (платформа для анализа А/Б экспериментов в РайдТех Яндекс) мы внедрили аналитические (рассчитанные по формулам) доверительные интервалы не только для per-user метрик (классика АБ тестов), но и для ratio метрик, uplift и uplift for ratios. Доверительный интервал именно для uplift (процентного изменения) имеет особенную бизнес-ценность, так как избавлен от проблемы масштаба. Расчеты основаны на применении ЦПТ и дельта-методе, их легко добавить в расчеты классического t-test и z-test, так как формулы основаны на классических статистиках (с небольшой доработкой), которые и так считаются при анализе. В докладе будет предложен полный практический гайд аналитических расчетов доверительных интервалов, в том числе для доверительного интервала uplift for ratios, который в явном виде автор нигде не встречала.

Предложенный метод расчета доверительных интервалов легко интегрируется в классический пайплайн анализа А/Б-тестов, так как формулы основаны на классических статистиках (с небольшой доработкой), которые и так считаются при анализе. Такой инструментарий позволит сделать процессы анализа прозрачнее, повысить доверие к результатам тестов со стороны коллег из бизнеса и менеджмента.
ДМИТРИЙ МУЗЫКА, РУКОВОДИТЕЛЬ ПРОДУКТОВОЙ АНАЛИТИКИ, FLOCKTORY

АНАЛИТИЧЕСКИЙ СЛАЙСЕР «КАК СОЗДАТЬ УНИВЕРСАЛЬНЫЙ ИНСТРУМЕНТ ДЛЯ РАБОТЫ С ДАННЫМИ И СДЕЛАТЬ ВСЕ РЕШЕНИЯ ПО-НАСТОЯЩЕМУ DATA-DRIVEN»

Мы разработали аналитический Slicer — универсальный инструмент, который объединил данные из разных источников через Trino и ClickHouse, обеспечив их доступность, согласованность и высокую скорость анализа. Это позволило упростить работу с метриками, автоматизировать аналитику и внедрить self-service подход, которым ежедневно пользуются как продуктовые команды, так и C-level менеджеры.

На основе этого опыта мы подготовили подробный гайд, как построить масштабируемую аналитическую систему с нуля: от сбора требований и проектирования витрин до расчёта метрик и настройки self-service инструментов. В докладе я подробно разберу архитектуру, алгоритмы и подходы, которые можно адаптировать под свои задачи, а также распространённые ошибки, которых стоит избегать.

В завершение покажу, как созданная платформа помогает командам работать с данными в реальном времени: быстро находить ответы, видеть влияние решений и строить инициативы на основе единого, согласованного источника информации.

МАКСИМ ШАЛАНКИН, DATA SCIENCE TEAM LEAD, МТС

AUTOML В ДЕЙСТВИИ: АВТОМАТИЗАЦИЯ ML-ЭКСПЕРИМЕНТОВ ДЛЯ БИЗНЕС-КОМАНД

Мы представим опыт создания платформы autoML, расширившей возможности кросс-функциональной команды в быстрой проработке бизнес-гипотез. Платформа позволяет строить и скорить табличные ML модели в простом интерфейсе. Ключевая задача: демократизация доступа к ML для бизнес-пользователей без глубоких знаний в data science, ускорение проверки гипотез и запуска экспериментов.

Подробно остановимся на следующих аспектах: преодоление скептицизма и построение доверия: стратегии и тактики, которые мы использовали для убеждения product owner и data analyst в эффективности и надежности автоматизированного подхода к ML; образовательный аспект внедрения autoML: как мы решали задачу обучения пользователей с минимальными знаниями в ML и делали платформу интуитивно понятной; оптимизация ресурсов и демократизация ML: как autoML платформа разгрузила backlog разработчиков и открыла доступ к ML-решениям для команд без собственных data scientists. Измеримые результаты и метрики: конкретные примеры успешных кейсов, метрики эффективности и влияние на бизнес-процессы компании; что нужно делать вам чтобы повторить наш успех.

Слушатели переосмыслят подход к проверке бизнес-гипотез с ML, узнают, как преодолевать сопротивление при внедрении автоматизации, получат инсайты по планированию ресурсов для подобных проектов, ознакомятся с метриками оценки эффективности autoML решений, узнают о потенциальных трудностях и способах их преодоления

КАСАТКИНА ДАРЬЯ, МЕНЕДЖЕР ПРОДУКТА И ГЕЙМБУХ ГЕОРГИЙ, СТАРШИЙ АНАЛИТИК, АВИТО

DATA-DRIVEN ПОДХОД К НЕБОЛЬШОЙ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ: КАК МЫ ПРОВОДИМ ЭКСПЕРИМЕНТЫ В ИНСТРУМЕНТАХ ПОДДЕРЖКИ АВИТО

Мы хотим рассказать о тех сложностях, которые возникают при замере влияния продуктовых изменений на ключевые метрики эффективности агентов клиентского сервиса, и о том, как мы с ними боремся, но при этом сохраняем data driven подход к управлению продуктом. В частности, остановимся на том, как мы проводим именно A/B, и что делаем, если A/B провести невозможно.
Разберем ситуации, когда происходит работа с маленькими выборками с большой вариативностью (когда один человек может утянуть за собой всю метрику), об альтернативных методах замера влияния продуктовых изменений на метрики: когда A/B-тест провести сложно или невозможно. Разберемся со спецификой работы с пользователями внутри компании.

Целевая аудитория доклада - менеджеры продукта, которые работают с продуктами с небольшим количеством пользователей (внутренние продукты, стартапы, B2B, узконаправленные сервисы); аналитики данных, которые хотят больше узнать об альтернативных методах тестирования, помимо A/B.

После прослушивания доклада, возможно кто-то из слушателей захочет попробовать у себя A/B, хотя раньше не пробовали, потому что думали что у них мало пользователей для этого; кому-то возможно мы подадим идеи, как еще кроме A/B можно замерять изменения метрики при продуктовых изменениях		ВАЛЕРИЯ КОВАЛЬЧУК, СПЕЦИАЛИСТ ПО КОЛИЧЕСТВЕННЫМ ИССЛЕДОВАНИЯМ, Т-БАНК

АНАЛИТИЧЕСКАЯ АЛХИМИЯ: КАК НАЙТИ ОПТИМАЛЬНЫЙ ОФФЕР БЕЗ ТЫСЯЧИ АБ-ТЕСТОВ (ОПРОСЫ МЕТОДОМ КОНДЖОИНТ-АНАЛИЗА)

Современный финтех развивается очень быстро: продукты усложняются, появляются десятки новых фичей и многоуровневых тарифов подписок и экосистем. Важно понимать, что из этого действительно влияет на выбор клиента.

В докладе:
– Расскажу, почему классические A/B-тесты не справляются с задачей оценки сложных финтех-продуктов: слишком много комбинаций, слишком дорого, слишком долго.
– Объясню, как мы используем конджойнт-анализ — метод из маркетинговой аналитики — чтобы моделировать потребительский выбор заранее, без вывода оффера в продакшн.
– Покажу, как устроен конджойнт-опрос: как мы подбираем фичи и уровни, как формируются сценарии, и как затем строится модель полезности.
– Поделюсь примерами из практики Т-Банка (как мы оптимизировали наполнение грейдов премиум-сервиса)

Из доклада узнаете, как один грамотный опрос может заменить десятки A/B-тестов, как заранее оценить спрос на новые предложения, просчитать отклик на цену и фичи, и как продуктовая команда может применять эти данные для принятия решений — быстро, точно и без лишних затрат		13:15 14:00
20
21
22
14:00 15:00ПЕРЕРЫВ 1 ЧАССПЕЦВЫПУСК ПОДКАСТА «ЭТО СЧИТАЕТСЯ»

Мы продолжаем экспериментировать, и у нас снова необычный сезон. Посвятим его математичности и всему, что с ней связано. Про что это? Про любовь аналитиков (и не только) к математике, про образование, эксперименты, критическое мышление и многое другое. В рамках спецвыпуска поговорим про математику и как аналитики применяют ее в работе (конечно же, с кейсами и шутками)

Интрига сезона — изменились не только темы и рубрики, но и состав ведущих! 		14:00 15:00
23
24
25
KEYNOTES: ДОКЛАДЫ НА "ШИРОКИЕ" ТЕМЫА/B-ЭКСПЕРИМЕНТЫ (ТРЕК ДЛЯ АНАЛИТИКОВ)КЛАССИЧЕСКИЕ БИЗНЕС-ЗАДАЧИ, РЕШЕННЫЕ С ПОМОЩЬЮ MLCUSTOMER SUCCESS & СUSTOMER SUPPORTЛАБОРАТОРИЯ ОТ T-БАНКА
26
27
15:00 15:45ВАРДАН МАНУЧАРЯН, АНАЛИТИК, АВИТО

ИНТЕРЛИВИНГ: А/Б В РАНЖИРОВАНИИ БЕЗ СЕТЕВЫХ ЭФФЕКТОВ.

Слушатели узнают о новом подходе к проведению А/Б-экспериментов в ранжировании и смогут реализовать его у себя. Научатся замерять долгосрочные эффекты на селлеров в тестах в маркетплейсах. Смогут имлеменитровать подход, так как он общий и применим в любом продукте с поисковой выдачей. В рамках доклада покажу примеры задач, с которыми мы сталкиваемся в Авито (тестируем модели предсказания CR, меняем правила аукциона, добавляем новые продукты продвижения и т.д.); расскажу о текущих подходах и их недостатках (байерские, селлерские, кластерные тесты); расскажу про то как работает Counterfactual Interleaving и почему он даёт честную оценку и достигнутыми результатами.

Ценность доклада в том, что классические подходы либо дают смещенную оценку, либо большой MDE. Я расскажу про новый подход, которые эти проблемы решает и уменьшает MDE выручки с 8.5% до 4.5%, как он устроен и как мы его валидировали		НУРКЕН АДИЛБЕК, DATA ANALYST, KOLESA GROUP

SPRT + CUPAC. МАКСИМАЛЬНО УСКОРЯЕМ ЭКСПЕРИМЕНТЫ

Расскажу про один из продвинутых способов проведения и ускорения экспериментов SPRT + CUPAС. Мы активно используем её для тестов в монетизации. В этой методике соединяется последовательное тестирование, которое позволяет честно подглядывать и ускорять. Плюс дополнительно мы уменьшаем дисперсию с помощью ML. Fixed Horizon не всегда позволяет это делать. SPRT позволяет честно подглядывать и при этом ускоряет эксперименты. Если скорость SPRT всё еще не хватает - нужно добавить ML-методы для дополнительного снижения дисперсии. В итоге у нас оптимальное сочетание двух продвинутых фреймворков, что на практике позволяет снижать длительность тестов от 3 до 5 раз относительно размера выборки для fixed horizon. Слушатели доклада узнают новый способ ускорять эксперименты, получат код, и сразу смогут применять методику на практике.
СЕРГЕЙ ВЕРЕНЦОВ, СТО, EORA

КАК ПЕРЕСТАТЬ ВНЕДРЯТЬ НЕНУЖНЫЙ AI: РАСЧЕТ ЭФФЕКТА И ФОКУС НА ЦЕННОСТЬ

В этом докладе мы разберёмся, как перестать тратить ресурсы на модные, но бесполезные AI-проекты, и начать внедрять те, что приносят измеримый эффект. Поговорим о подходах к оценке ценности AI-инициатив: как считать ROI, экономию, прирост выручки и улучшение операционных метрик. Обсудим методы проверки гипотез, роль контрольных групп, сравнение «до и после», а также типичные ловушки — вроде "обещанных миллионов", не подтверждённых данными.

Доклад основан на опыте EORA, которая внедрила десятки полезных решений для клиентов, реализовала и проанализировала немало спорных кейсов, а также регулярно отговаривает компании от внедрения AI, если это не имеет смысла. Будет полезен аналитикам и ML-инженерам, которые участвуют в оценке и запуске AI-проектов, техническим менеджерам, ответственным за эффективность внедрения, а также AI-предпринимателям, которые хотят понимать, где технология реально даёт бизнес-ценность		ДАРЬЯ ЛЕДНЕВА, ML RESEARCHER, DEEPPAVLOV

ДИАЛОГОВЫЕ ЭМБЕДДЕРЫ КАК ИНСТРУМЕНТ ПОВЫШЕНИЯ КАЧЕСТВА КЛИЕНТСКОГО ОПЫТА: ПРИМЕНЕНИЕ, ЧТО ПОД КАПОТОМ И БЕНЧМАРКИ

Ценность этого доклада в том, что диалоговые эмбеддеры позволяют значительно повысить качество решений в ряде прикладных задач: классификация интентов, трекинг состояний в диалоге, построение retrieval-компонент, заполнение и актуализация пользовательских профилей, кластеризация клиентских обращений и многое другое. Ключевая особенность таких эмбеддеров — способность учитывать структуру диалоговых данных, которая принципиально отличается от обычных текстов и включает в себя последовательность реплик, роли участников и контекстные зависимости между репликами. Корректное моделирование этих особенностей в векторном пространстве приводит к улучшению качества в задачах, критичных для построения диалоговых систем. Подходы на основе диалоговых эмбеддеров применимы в различных индустриях — ритейл, финтех, техническая поддержка — и позволяют разрабатывать более интерпретируемые и эффективные диалоговые ассистенты.		ЕВГЕНИЙ ХОМУТОВ, СТАРШИЙ ПРОДУКТОВЫЙ АНАЛИТИК В КОМАНДЕ АНАЛИТИКИ ПОДПИСКИ PRO, Т-БАНК

БЕЗ A/B И МАГИИ: АКТИВНЫЕ ПОЛЬЗОВАТЕЛИ РАСТЯТ ПРОДУКТ ИЛИ ПРОДУКТ РАСТИТ АКТИВНЫХ ПОЛЬЗОВАТЕЛЕЙ? (И ПРИ ЧЕМ ТУТ БАЙЕСОВСКИЕ СЕТИ)

В Т-Банке мы давно развиваем подписку PRO — и давно замечаем, что у пользователей с подпиской выше и активность, и средние балансы. Но как понять, в какую сторону работает причинно-следственная связь? Подписка делает пользователей более активными и финансово успешными? Или изначально активные пользователи просто чаще покупают подписку?

В этом докладе расскажем, как мы с помощью Байесовских сетей искали ответ на этот важный вопрос. Расскажем, как могут помочь причино-следственные графы, когда A/B-тест провести нельзя. Обсудим, как мы валидировали выводы, не имея доступа к «идеальному» эксперименту, и какие ограничения всё же остались.

Доклад будет полезен тем, кто работает с продуктовыми метриками и хочет разобраться, где correlation, а где уже намекает на causation. А ещё — всем, кто хочет познакомиться с прикладным применением Байесовских сетей на реальном бизнес-кейсе и понять, в каких ситуациях они могут стать рабочим инструментом.

Было сложно, нам понравилось — и теперь хотим поделиться опытом.		15:00 15:45
28
29
15:45 16:30ВИКТОР КАНТОР, FOUNDER MLINSIDE, СОВЕТНИК В МТС

ЗАДАЧИ, ЗА РЕШЕНИЯ КОТОРЫХ ПЛАТЯТ И БУДУТ ПРОДОЛЖАТЬ ПЛАТИТЬ

С выходом ChatGPT про AI узнали в каждой компании. Также подавляющее большинство компаний в курсе, что AI с нами уже давно, а мало-мальски опытные в этой теме кадры стоят дорого и нанимаются со скрипом. О том, как эту проблему закрывают обучением своих сотрудников, мы и поговорим на докладе. Какие сферы наиболее активны, какие образовательные программы проводятся для сотрудников, и чему научиться самому, чтобы не только смотреть, но и участвовать.		ИГОРЬ РУБАНОВ, РУК-ЛЬ СЛУЖБЫ АНАЛИТИКИ ТАКСИ ЯНДЕКС

ЭКСПЕРИМЕНТЫ В ПРОДУКТЕ ДЛЯ ИСПОЛНИТЕЛЕЙ ЯНДЕКС.ПРО: КАК БАЛАНСИРОВАТЬ МЕЖДУ ЭФФЕКТИВНОСТЬЮ И ДОЛГОСРОЧНЫМ RETENTION

В рамках доклада расскажу о том, как мы влияем экспериментами на эффективность водителей, их acceptance rate и completion rate. Но всегда ли можно принимать решения на основе краткосрочных экспериментов? А если нет, то надо ли всегда держать контрольные группы месяцами? Расскажу, почему в экспериментах мы начали смотреть и на DSAT (Driver satisfaction score) в том числе и можно ли считать DSAT предвестником Retention, и как его учитывать в принятии решения по экспериментам.		МАРИЯ ТИХОНОВА, ДОЦЕНТ НИУ ВШЭ, РУК-ЛЬ ИССЛЕДОВАТЕЛЬСКОГО НАПРАВЛЕНИЯ AGI NLP, СБЕР

ВЫЗОВЫ В ОЦЕНКЕ СОВРЕМЕННЫХ LLM И МУЛЬТИМОДАЛЬНЫХ МОДЕЛЕЙ

Современные большие языковые модели (LLM) и мультимодальные модели демонстрируют невероятные достижения в области рассуждения, кодинга и работе с экспертными знаниями. Но как понять насколько близки эти модели к AGI? Как правильно оценить, насколько этичной и безопасной является та или иная модель? И как правильно выстроить дизайн экспериментов, чтобы максимально честно и непредвзято сравнить все модели между собой? Эти и другие вопросы, связанные с оценкой моделей разберем в докладе на примере бенчмарка MERA - основного бенчмарка для оценки подобных моделей на русском языке сегодня.
ЭЛЬВИРА МОРОЗОВА, РУК-ЛЬ ОПТИМИЗАЦИИ БИЗНЕС-ПРОЦЕССОВ НА БАЗЕ YANDEXGPT, ЯНДЕКС

КАК КОНЕЧНЫЕ ПРОФЕССИОНАЛЬНЫЕ ПРОДУКТЫ НА ОСНОВЕ LLM ПОВЫШАЮТ ЭФФЕКТИВНОСТЬ СОТРУДНИКОВ И ЭКОНОМЯТ ЯНДЕКСУ МИЛЛИОНЫ

Внедрили YaGPT в формате подсказок оператора в одну из поддержек Яндекса. Получили доказанный в А/Б-тестах экстра-эффект как на скорости работы операторов, так и на качестве ответов. Теперь "экзоскелет" из GPT для оператора - новая норма. Тем не менее, “экзоскелет”, это не полноценная замена человеку, но мы смогли применить YaGPT для поддержки Яндекса таким образом, что получили существенные бизнес-эффекты - применение GPT в саппорте сейчас приносит 15% чистой экономии в Яндекс Маркете. Слушатели доклада смогут начать применять LLM в работе/внедрять в процессы не только в формате чата, но и в формате конечных продуктов, решающих бизнес-проблемы		ЮЛИЯ БЕЛОВА, ДИРЕКТОР ПО ПОРТФЕЛЮ И АНАЛИТИКЕ, Т-МОБАЙЛ

МЫ ВСЕ ПРОСЧИТАЛИ(СЬ): ЗАЧЕМ ЭКОСИСТЕМЕ УБЫТОЧНЫЙ БИЗНЕС ИЛИ СМЕЛАЯ ИСТОРИЯ О ТОМ, ЧТО МИРОМ ПРАВИТ НЕ ТОЛЬКО «УСПЕШНЫЙ УСПЕХ

Представим, что у вас есть гениальная идея, которая по ощущениям 100% должна выстрелить. Причем вы даже знаете, за счет чего будет ее успех, и как именно это будет выглядеть. И вдруг… все начинает идти совсем не по плану: те гипотезы, на которые были ставки, вообще не выстреливают, и кажется, что все мечты рухнули раз и навсегда… Как так вышло? И что теперь делать?
При создании бизнеса мобильного оператора Т-Мобайл мы пережили все стадии от радостной амбициозной идеи до ощущения, когда ничего из придуманного не работает, а только тратит ресурсы и деньги. Мы научились честно признавать свои ошибки, смогли снова встать на ноги и перепридумать новую концепцию бизнеса, которая по итогу оказалась успешной, и теперь помогает Т-Банку зарабатывать, а клиентам иметь больше классных и удобных безопасных сервисов.
В своем докладе расскажу:
– Как и почему первичные гипотезы не отработали? Что мы забыли учесть?
– Как мы выбирались из финансовой ямы?
– Как мы нашли новую работающую концепцию?
Учиться на чужих ошибках всегда безопаснее, чем на своих		15:45 16:30
30
У
31
16:30 17:15 ИВАН СТЕЛЬМАХ, ПРОФЕССОР РЭШ, ДИРЕКТОР ПО ПРОДУКТУ, ЦЕНТРАЛЬНЫЙ УНИВЕРСИТЕТ

СЫВОРОТКА ПРАВДЫ, ИЛИ КАК ЗАСТАВИТЬ ПОЛЬЗОВАТЕЛЯ ЧЕСТНО ОТВЕЧАТЬ НА ОПРОС CSAT

Фидбек пользователей — мощный драйвер развития продуктов. Но можно ли верить тому, что они говорят? А если мы хотим узнать ответ на чувствительный вопрос. Например, о том, приходилось ли пользователю оставлять каршеринг в неположенном месте? Или о количестве сексуальных партнеров?
К счастью, математика и поведенческая экономика дают нам ингредиенты для сыворотки правды, которая мотивирует пользователей быть честными! Ее мы и сварим на докладе :)		АРТЕМ ДРОНОВ, АНАЛИТИК КОМАНДЫ A/B-ТЕСТИРОВАНИЯ, АВИТО

SLICING IS ALL YOU NEED

В теории по А/В-тестам мы практируемся с выбором наиболее подходящих ключевых метрик для нашего эксперимента, а когда речь идет об экспериментах в крупных компаниях, анализ подразумевает тысячи показателей. На примере платформы экспериментов Trisigma разберем откуда возникает потребность подобного анализа у аналитиков и обсудим как найти баланс между желанием учитывать все доступные данные и необходимостью сосредоточиться на наиболее важных аспектах.
Слушатели доклада смогут посмотреть на свои эксперименты под другим ракурсом и оценить свои текущие процессы.
АНДРЕЙ МОРОЗКИН, ДИРЕКТОР ПО ОПЕРАЦИОННАЙ ЭФФЕКТИВНОСТИ, ФИНАМ

ИВАН ДАШКЕВИЧ, ВЕДУЩИЙ АРХИТЕКТОР AI, ФИНАМ

СОЗДАНИЕ КОРПОРАТИВНОГО AI МОЗГА: ОПЫТ ФИНАМ, ПИЛОТЫ, РЕЗУЛЬТАТЫ

Выступление будет полезно всем участникам – от технических специалистов до топ-менеджеров и лидеров цифровизации. Коллеги расскажут о пути внедрения AI в крупной финансовой компании, поделятся уникальным опытом, полным реальных успешных кейсов, открытий, выводов и конкретных результатов.		АРТЕМ ГРИППА, HEAD OF CX, REVIEWS AND SUPPORT PRODUCTS, МАГНИТ

AI-АГЕНТЫ ЗАМЕНЯТ ОПЕРАТОРОВ? КАКИМ БУДЕТ КЛИЕНТСКИЙ СЕРВИС БУДУЩЕГО

После проработки target state автоматизации клиентских обращений пришли к выводу, что без создания Ai-агентов и инвестирования в собственный RAG-pipline (с мультимодальность) мы в ближайшей перспективе не сможем достичь CSAT (CSI) бота сопоставимого с CSAT (CSI) оператором. Макроэкономические условия непростые, найм «синих воротничков» дорогой. Таргеты на cost per order в KЦ достаточно жёсткие, при этом ОМНИ часть бизнеса кратно растет год к году. В таких условия сложно обеспечивать рост автоматизации одновременно с высоким уровнем клиентской удовлетворенности. Т.е. проблема эффективности КЦ комплексная. Решить ее можно, применяя системных подход в сочетании с тестами, применении внутренними и внешними исследованиями, при этом опираясь в какой-то степени на тренды. Именно этот путь мы выбрали и сформировали идеальный портрет "виртуального оператора" в долгосрочной перспективе. Слушатели смогут получить инсайт для обоснования инвестирования ресурсов в тестирование мультимодальных решений. Да, я уверен, что на основе нашего опыта можно будет пополнить беклог доработок и сформировать роудмеп как минимум в части продуктов саппорта		АНДРЕЙ КОРОЛЕВ, РУКОВОДИТЕЛЬ АНАЛИТИКИ ОБСЛУЖИВАНИЯ, Т-БАНК И АНДРЕЙ КУЗЬМИН, АНАЛИТИК, Т-БАНК

CSAT ПОД МИКРОСКОПОМ: ОТ МЕТРИКИ К ДЕЙСТВИЯМ ЧЕРЕЗ ML И АНАЛИТИЧЕСКОЕ МЫШЛЕНИЕ

Качество обслуживания — одно из ключевых конкурентных преимуществ Т-Банка. Но что именно скрывается за понятием «качественное обслуживание» с точки зрения клиента? Как его измерить и, главное, как понять, что влияет на восприятие этого качества?
В рамках проекта мы разработали модель, которая объясняет и предсказывает оценку CSAT (Customer Satisfaction Score) клиентов после взаимодействия с обслуживающим персоналом. Мы поставили цель — не просто прогнозировать метрику, а использовать модель как инструмент для поиска инсайтов и направлений для улучшения клиентского опыта.
О чем поговорим:
– Почему работа с качеством обслуживания — аналитически сложная задача
– Как выбрать действительно значимые метрики среди множества доступных
– Что легло в основу модели объяснения CSAT в обслуживании
– Как мы интерпретируем результаты модели и используем их на практике
– Как модель помогает выстраивать кросс-функциональное взаимодействие ради улучшения клиентского опыта		16:30 17:15
32
33
17:15 18:00АЛЕКСАНДР КОНДРАШКИН, HEAD OF ANALYTICS, OKKO

КОМАНДА КАК БИЗНЕС-ПАРТНЁР: КАК ПЕРЕЙТИ ОТ ТЗ К РОСТУ МЕТРИК

В рамках доклада поделюсь своим опытом выстраивания аналитики, влияющей на решения компании в среде, где сильную роль занимает экспертное мнение.
Поделюсь, как удалось плавно изменить мышление и целеполагание команды аналитики с "мы сделаем дашборд" до "3 вывода на основе данных, которые принесли рост метрик". Как обрабатывать возражения команды и избегать overfit на такие цели.
Как подбирать людей под разные направления и задачи компании. Как чередовать быстрые результаты с долгосрочными проектами, в которые мы верим. Как защищать ресурс под подобные "венчурные проекты" и как не превращать их в НИИ или дата-журналистику, а реально извлекать пользу для продукта.		МАКСИМ ФЕДОТОВ, DATA SCIENTIST ГРУППЫ РАНЖИРОВАНИЯ И НИКИТА МОЖУГИН, РУК-ЛЬ ПРОДУКТОВОЙ АНАЛИТИКИ, OZON БАНК

КАК ПРОЙТИ ПУТЬ ОТ АНАЛИТИЧЕСКОЙ ИНИЦИАТИВЫ ДО ML-ПЛАТФОРМЫ ПЕРСОНАЛИЗАЦИИ, СЭКОНОМИВ ВРЕМЯ И ЗАРАБОТАВ МИЛЛИОНЫ

Мы хотим рассказать о том, как продавать идеи и гипотезы, быстро их тестировать с помощью простых MVP, показывая бизнес-эффект, тем самым получая доверие от бизнес-заказчиком и используя это для создания серьезных production-решений на миллионы рублей. Все это привело к новой команде, большим продуктовым решениям и платформе персонализации. Расскажем о том, как выглядел наш путь в ML: от тетрадок в JupyterHub’е до нейросетей и собственной платформы рекомендаций. Мы надеемся, что наш доклад позволит слушателям получить инсайты о том, как: активнее продавать идеи и гипотезы и быстро их тестировать, выстраивать межкомандное взаимодействие разных функциональных команд. Доклад будет полезен Middle/Senior/TeamLead дата-аналитикам и data scientist'ам, а также product-менеджерам крупных компаний и продуктов
34
35
18:00 -- --ФУРШЕТ НА ПЛОЩАДКЕ18:00 -- --
36
37
30 МАЯ (ПТ) - МОСКВА, КЛАСТЕР ЛОМОНОСОВ
38
ВСТРЕЧА УЧАСТНИКОВ КОНФЕРЕНЦИИ НА ПЛОЩАДКЕ, ЗНАКОМСТВО, ОБЩЕНИЕ И НЕТВОРКИНГ, УЧАСТИЕ В СТЕНДОВЫХ АКТИВНОСТЯХ, WELCOME-КОФЕ И ДРУГИЕ АКТИВНОСТИ
39
40
СЕКРЕТНЫЙ ТРЕК: ЧЕКАП+РЕШЕНИЯ НЕСТАНДАРТНЫХ ПРОДУКТОВЫХ ЗАДАЧAI ENTREPRENEURSHIP ВНЕДРЕНИЕ И LLM-ТРАНСФОРМАЦИЯ БИЗНЕСАА/B-ЭКСПЕРИМЕНТЫ (ТРЕК ДЛЯ АНАЛИТИКОВ)
41
42
11:00 11:45СЕРГЕЙ ХАРИТОНОВ, МОЛЕКУЛЯРНЫЙ БИОЛОГ, СОТРУДНИК МГУ ИМ. М.В. ЛОМОНОСОВА

КИШЕЧНИК И МОЗГ: МИКРОБИОТА КАК КЛЮЧ К МЕНТАЛЬНОМУ ЗДОРОВЬЮ И ПРОДУКТИВНОСТИ

Современные исследования всё четче показывают, что устойчивость к стрессу, уровень тревожности, качество сна и даже продуктивность напрямую связаны с состоянием кишечника и его микробиоты. Микробиота напрямую взаимодействует с центральной нервной системой, влияя на выработку нейромедиаторов, уровень воспаления и стресс-реакции.

В лекции обсудим механизмы этой связи и сформулируем практические стратегии восстановления здоровья микробиоты и кишечной слизистой, которые являются мощными инструментами для стабилизации психоэмоционального состояния и повышения эффективности в повседневной жизни.		АННА КРЮЧКОВА, РУК-ЛЬ СЛУЖБЫ АНАЛИТИЧЕСКИХ ПЛАТФОРМ, ЯНДЕКС

АТЛАС: КАК И ЗАЧЕМ АНАЛИЗИРОВАТЬ ТЕРАБАЙТЫ ГЕОДАННЫХ В РЕАЛЬНОМ ВРЕМЕНИ

Продукт - геоаналитика в реальном времени. Сотни метрик, которые мы трекаем на карте, позволяют решать кейсы, характерные для "геозависимых" бизнесов, таких как Такси и Доставка: аномалии, перекосы в настройках маркетплейса для геозон. Кейсы, которые сложно увидеть на обычных графиках метрик. Расскажем, как развивался инструмент, и почему он полезен для 500 MAU пользователей. Как выглядит продукт для внутреннего пользователя - как мы смотрим сотни метрик в риалтайме, почему важна именно гео составляющая (все метрики на карте). Какие задачи решает продукт - как мы быстро находим локальные проблемы с балансом, анализируем гео-сезонность и находим локальные ивенты. На какой инфраструктуре всё работает и какие сложности при развертывании могут встретиться. Также покажем, как совмещение риалтайма и гео-составляющей позволяет нам исследовать локальные проблемы, когда не тотал графиках ничего не видно. Также немного коснемся технической архитектуры, чтобы было понятно как можно стартовать Слушатели могут понять, что перенять, чтобы находить проблемы как можно раньше (риалтаймовость). 		ТАТЬЯНА САВЕЛЬЕВА, FOUNDER INFLUAI, EX-CEO YANDEX.SUPPORT AI И EVA.AI, FORBES 30/30

КАК ИИ МЕНЯЕТ МАРКЕТИНГ И ЧТО УЖЕ СЕГОДНЯ НУЖНО С ЭТИМ СДЕЛАТЬ 		АНАТОЛИЙ ЗОТОВ, СЕО А2

СТРАТЕГИЯ ВНЕДРЕНИЯ LLM: ОТ ИДЕИ ДО РЕАЛИЗАЦИИ

Пошаговое руководство по разработке и реализации стратегии внедрения LLM в крупной организации. Обсуждение формирования команды, выбора технологий и управления изменениями.

Ключевые моменты:
• Формирование межфункциональной команды для внедрения LLM.
• Выбор подходящих технологий и платформ.
• Управление изменениями и обучение персонала.		ВЛАДИМИР ПАШЕНЦЕВ, ЛЕМАНА ПРО

КАК МЫ ПОСТРОИЛИ СВОЮ А/Б-ПЛАТФОРМУ С НУЛЯ И СНИЗИЛИ TTM В ПОИСКЕ

Этот доклад является инструкцией на тему «как делать А/Б-платформу и спать спокойно». Его польза больше не в каких-то уникальных технологиях, а в том, как можно организовать процесс и что в нем должно быть.

Поиск в Лемана Тех (бывший Леруа Мерлен) это высоконагруженная система, которая обрабатывает несколько сотен запросов клиентов в секунду. Помимо этого, поиск — это очень важная и сложная часть бизнеса компании, которую необходимо постоянно развивать и тестировать новые гипотезы В какой-то момент для нашей команды стало важно настроить свой собственный процесс запуска и расчета экспериментов, поскольку имеющееся на тот момент решение нас не устраивало по ряду причин: запускалось вручную, не было механизма healthcheck-а, тяжело было кастомизировать.

В результате мы разработали свою АБ-платформу ""BAget". В ней: метрики считаем ttest-ом "поверх" дельта-метода; метрики оформлены в пресеты и подобраны на данных в соответствии с нашей NSM. Проводятся проверки распределения пользователей между группами, чтобы понять что сплитование трафика работает корректно; фильтруются выбросы по группе метрик, такой подход на наших данных гораздо лучше снижает дисперсию, чем cuped или пост-стратификация (снизил дисперсию ARPPU в 10 раз).

Побочным эффектом сот внедрения стало то, что наша команда получила хорошее представление о том как и куда дальше можно развивать АБ-платформу. На основе этого доклада команды могут выстроить беклог по разработке А/Б-платформы
11:00 11:45
43
44
11:45 12:30ВЛАД ПАСЕЧНИК,ТРЕНЕР, СОЗДАТЕЛЬ ДВИГАТЕЛЬНОЙ СИСТЕМЫ «АЛГОРИТМ»

ЧТО ДЕЛАТЬ, ЧТОБЫ ТЕЛО НЕ РАЗВАЛИВАЛОСЬ ОТ СИДЯЧЕГО ОБРАЗА ЖИЗНИ, И КАК УБЕРЕЧЬ СВОЕ МЕНТАЛЬНОЕ ЗДОРОВЬЕ С ПОМОЩЬЮ УПРАЖНЕНИЙ

В своей лекции поделюсь простыми лайфхаками для поддержания здорового тела.

– расскажу про необходимый минимум физической активности для здорового существования
– покажу, как устроены движения человека и почему они важны для успешной жизни
– объясню, какие подходы к работе с болью и дискомфортом в теле реально работают, а какие — не более чем популярные заблуждения
– разберёмся, какие бывают виды тренировок и как выбрать именно то, что необходимо вам

А тем, кто досидит до конца, я покажу конкретные упражнения, которые можно делать прямо на рабочем месте — не вставая с кресла.		АНАСТАСИЯ КУТНЕВА, РУК-ЛЬ НАПРАВЛЕНИЯ ПРОДУКТОВОЙ АНАЛИТИКИ МЕДИА И КОНТЕНТА И ДАРЬЯ КАНЦЕВИЧ, СТАРШИЙ ПРОДУКТОВЫЙ АНАЛИТИК МЕДИА И КОНТЕНТА, ECOM.TECH

КАК ПРОДУКТОВАЯ АНАЛИТИКА ВНУТРЕННИХ ПРОДУКТОВ ПОМОГАЕТ РАСТИ КОМПАНИИ: УСКОРЕНИЕ И МАСШТАБИРОВАНИЕ ПРОЦЕССОВ И ПОПУЛЯРИЗАЦИЯ СЛОЖНЫХ ИНСТРУМЕНТОВ КАК КЛЮЧЕВЫЕ ФАКТОРЫ УСПЕХА INTERNAL-СЕРВИСОВ

Обычно компании уделяют внутренним продуктам недостаточно внимания, так как внутренние продукты не приносят прибыль напрямую. Многие корпорации живут на «костылях» и неудобных внутренних сервисах и не пытаются сделать внутренние продукты удобными и качественными. У нас в Ecom.tech огромная экспертиза в развитии внутренних продуктов: мы занимаемся продуктовой аналитикой внутренних продуктов с нуля и помогаем бизнесу сделать их удобными и приносящими прибыль. Продуктовая аналитика внутренних продуктов обладает своей спецификой - так как нет прямой монетизации, то смотреть только на GMV не получится. Нужен отличительный набор метрик, который скажет, что внутренний продукт успешен: OPEX, Time to market и т д. На примере внутренних продуктов для создания контента мы покажем, как внутренние разработки экономят время сотрудников и деньги компании: мы ускоряем доставку контента на витрину клиентского приложения, обрабатываем контент нашими МЛ моделями в один клик (без помощи ретушеров), храним в удобном хранилище медиа-контент и в любой момент можем подстроиться под изменения в продукте. В своем докладе мы раскроем примеры, когда продуктовая аналитика напрямую влияла на развитие внутреннего продукта и помогла компании масштабировать контент		ДМИТРИЙ ПОЛИЩУК

ГЕНЕРАТИВНЫЙ ИИ: УСКОРЕНИЕ ПУТИ ОТ ИДЕИ ДО MVP		ГАЛЯ ШИРАНКОВА, PRODUCT UNIT LEAD, АВИТО

СЧИТАЕМ ДЕНЬГИ ОТ ВНЕДРЕНИЯ LLM: TRACTION MODEL AVITO ASSISTENT

Доклад раскрывает практический подход к созданию traction модели на примере внедрения LLM-продукта Avito Assistant. Основной задачей было оценить ожидаемые бизнес-результаты и сформировать четкие критерии принятия решений persist or pivot для новых продуктов на основе LLM, где заранее сложно прогнозировать эффективность. В результате была создана модель, фиксирующая цели, приоритеты тестирования гипотез и вводящая понижающие коэффициенты по итогам AB-тестов.

Не формируя ожиданий мы не фиксируем не только цели создания, но и принципы, по которым будем принимать решение persist or pivot. Не каждый продукт нужно развивать, и не каждый продукт нужно развивать именно выбранным путем. Лучший способ зафиксировать ожидания от продукта - это сделать traction модель.

На примере запуска Avito Assistant я расскажу:
— как и зачем используется traction модель при запуске новых продуктов
— как выбрать метрики, которые станут основой модели (инпут метрики)
— как регулярно актуализировать трекшн модели и вводить понижающие коэффициенты
— как использовать модель для принятия решений в продукте

Покажу как выглядит наша модель, из чего состоит и как мы выводили понижающие коэффициенты на основе прошлых А/В-тестов. Это позволило четко управлять ожиданиями и оперативно принимать обоснованные решения о дальнейшем развитии продукта. Доклад предназначен для продактов и аналитиков, запускающих новые продукты, которым критически важно быстро и четко оценить перспективность проекта и сфокусировать команду на измеримых результатах. Целевая аудитория поймет важность регулярного использования traction моделей и получит инструменты для их эффективного применения		ЕВА ПАНКРАТОВА, РУКОВОДИТЕЛЬ ОТДЕЛА ПРОДУКТОВОЙ АНАЛИТИКИ, М2

КАК ВЫБРАТЬ И ВНЕДРИТЬ А/Б ПЛАТФОРМУ, КОГДА ТЫ НЕ БИГТЕХ

Речь пойдет о выборе и внедрении платформы АБ-тестирования в условиях относительно небольшой компании с ограниченным ресурсом аналитики/разработки и отсутствием развитой культуры А/Б-тестирования. Расскажу о том, почему доступные материалы не помогли сделать выбор и подготовиться к внедрению и каковы были наши критерии выбора: требования аналитики и разработки. Также расскажу о процессе внедрения -- как мы недооценили сроки в три раза, как шел процесс и о том, как подготовить всех пользователей и не прийти к неверному использованию тестов.

Аудитория из МСБ сможет переиспользовать наш опыт -- решить, правда ли им нужно внедрение АБшницы и как к нему подготовиться. Разработчики платформ - понять боли своей ЦА. Доклад будет полезен тем компаниям, у которых не огромный штат аналитиков, а А/Б –еще не пройденный этап развития. Малый и средний бизнес как правило не может переиспользовать опыт бигтеха в силу недостатка ресурсов и отсутствия возможности/необходимости проводить десятки и сотни тестов. Мы прошли этот путь, набили шишки и можем поделиться опытом, который поможет другим пройти его с меньшими потерями
11:45 12:30
45
46
12:30 13:15ИНТЕРВЬЮ: ГЕОРГИЙ ЁЛГИН, ДЕЙСТВУЮЩИЙ СПОРТСМЕН, ПЕРСОНАЛЬНЫЙ ТРЕНЕР, ПЕДАГОГ

Поговорим о влиянии физической активности на умственную работоспособность, последовательных тренировках и построении грамотных тренировочных планов.

Слушатели смогут задать вопросы о том, какая физическая активность лучше всего влияет на ум и работоспособность, и как подобрать для себя комфортную нагрузку.		ЮЛИЯ АНТОХИНА, DATA SCIENTIST, LAMODA

СТИЛЬНЫЙ КОД: НАТУРАЛЬНЫЙ ПОИСК РЕДКИХ АТРИБУТОВ ПО КАРТИНКЕ

"Платье зебра, малиновые чиносы, джинсы клеш от колена" – каждый день мы ищем товары по модным запросам. Fast fashion создает новые тренды быстрее, чем мы заполняем карточки товаров. Я расскажу про сетку которая в продакшне читает наши картинки как глянцевый журнал: выбирает главное и помогает добавить в корзину. Доклад про предсказание атрибутов по картинкам. Он будет полезен всем, кому приходится автоматически размечать атрибуты, когда они не заполнены ( маркетплейс ) или когда они редкие (новые названия цветов, тренды)		ИСЛАМ МИДОВ, ОСНОВАТЕЛЬ COPILOT2TRIP И 2PR.IO

КАК СДЕЛАТЬ ВИРАЛЬНЫЙ AI ПРОДУКТ НА МИРОВОМ РЫНКЕ, ПОНЯТЬ, ЧТО ЭТО ФИЧА, А НЕ БИЗНЕС, ПРОДАТЬ РОССИЙСКОМУ СТРАТЕГУ И ВНЕДРИТЬ

Слушатели смогут лучше понять подход к выбору GenAI идеи продукта или проекта. Получат понимание того, как лучше интегрировать купленные продукты в стартап. Разберем несколько вопросов, которые беспокоят как начинающих, так и опытных продактов и предпринимателей.
- поиск идеи. First mover advantage в GenAI снижается, а значит сейчас идея важнее
- как понять что продукт стартапа релевантен для стратега, и ему проще его купить
- buy vs build для стратега небольших стартапов
- как приземлить продукт созданный для мирового рынка на российский рынок
СЕРГЕЙ ВЕРЕНЦОВ, СТО, EORA

КАК ДЕЛАТЬ БЕНЧМАРК ДЛЯ БИЗНЕС-ВНЕДРЕНИЙ LLM: ОТ ОФФЛАЙНА К ПРОДАКШНУ

С появлением больших языковых моделей (LLM) бизнес получил мощный инструмент для автоматизации, поддержки клиентов, генерации контента и анализа данных. Но как понять, какая модель действительно справляется с задачей, а не просто красиво отвечает в демо? И как измерить её пользу в реальных условиях?
В докладе разберём, как грамотно сравнивать LLM в прикладных задачах. В фокусе — не лабораторные метрики, а показатели, понятные бизнесу. Обсудим:
- Как собрать датасет для оффлайн-оценки, если данных мало;
- Какие метрики использовать для оценки качества модели в бизнес-контексте;
- Как организовать A/B-тест и замерить влияние на продуктовые метрики;
- Почему важно учитывать стоимость, скорость и поведение модели под нагрузкой.

Поделимся практическими кейсами из внедрения LLM в клиентский сервис, внутренние ассистенты и системы аналитики. Доклад будет полезен ML-инженерам, аналитикам и всем, кто отвечает за внедрение LLM
АРТЕМ ЕРОХИН, LEAD DATA SCIENTIST, X5 TECH

ПРОКСИРУЙ ЭТО: КАК ИСПОЛЬЗОВАТЬ ПРОКСИ-МЕТРИКИ УМНЕЕ?

Прокси-метрики - один из типичных подходов к работе с данными, особенно, когда не хватает чувствительности для "прокраски" теста на более высокой метрике. Соответственно, их использование позволяет принимать решение там, где, казалось бы, на основной метрике его принять нельзя. Что обычно повышает скорость и качество итераций в продукте (конечно же, со своей платой за использование такого подхода). В рамках лекции я расскажу зачем нужны прокси-метрики и какие современные подходы работы с ними есть (например, paretto-оптимальные метрики, автоматизация поиска прокси и т.п.) Выясним, как применять эти подходы в ваших проектах и о чем не стоит забывать, если вы разрабатываете прокси-метрики. Слушатели узнают про современные подходы по работе с прокси-метриками. Получится такой обзор решений и их разъяснение таким языком, чтобы можно было сразу применить решение на практике		12:30 13:15
47
48
13:15 14:00АНАСТАСИЯ ЩЕЛОЧКОВА, К.М.Н, НЕЙРОКОУЧ, MASTER COACH ICI, БИЗНЕС-ТРЕНЕР, ПРЕПОДАВАТЕЛЬ УНИВЕРСИТЕТА ОБРАЗОВАТЕЛЬНОЙ МЕДИЦИНЫ

УПРАВЛЕНИЕ ЛИЧНОЙ ЭФФЕКТИВНОСТЬЮ С ПОМОЩЬЮ МОЗГА. КАК ПОДДЕРЖИВАТЬ КОГНИТИВНЫЕ ФУНКЦИИ В ПЕРИОД ПОВЫШЕННОЙ НАГРУЗКИ 		МИХАИЛ ЕВДОКИМОВ, CPO, DATA STORIES

AI DEEP RESEARCH: НАТРАВЛИВАЕМ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ НА ПРОДУКТОВЫЕ МЕТРИКИ И КОНКУРЕНТОВ.

Расскажем и покажем, как использовать Deep Research с минимизацией галлюцинаций. Как с помощью Deep Research улучшить результаты продуктовых исследований, верифицируя гипотезы на конкурентах или показателях рынка.
"Deep Research конкурентов" - поговорим об исследовании активности конкурентов. Покажем несколько инструментов, как направить Deep Research в нужную сторону.
"Deep Research для поиска продуктовых гипотез" - рассмотрим кейс AI ассистента продакт менеджера, опирающегося на внутренние занания компании.
"Deep Research на MCP" - расскажем хак, как использовать Deep Research с моделями, которые в него не умеют		МАКСИМ МЕЩЕРЯКОВ, СОБСТВЕННИК GEECKO.COM, SMARTMONKEYS, ORBITA, AUTOPSY

ТЫ СЛИШКОМ УМНЫЙ, ЧТОБЫ БЫТЬ БЕДНЫМ. AI + ТАБЛИЦА = ДЕНЬГИ. ХВАТИТ ЖДАТЬ ИДЕЮ — СДЕЛАЙ MVP ЗА 3 ЧАСА И ПРОДАЙ

Сейчас — переломный момент. AI меняет всё. И те, кто знает, как устроены системы, умеет кодить и мыслит как инженер, могут выйти из тени и начать зарабатывать на своём уме.

Я покажу как начать без команды, без бюджета, но с мозгом; как проверять гипотезы на реальных клиентах и не тратить месяцы; как искать партнёров, если ты интроверт, и продавать, даже если не продавал никогда; как один AI-агент + гугл-таблица сделали мне 1М выручки за неделю.

Моя цель — показать, что не нужно ждать "большую идею". Можно встать и сделать MVP за вечер — и заработать уже завтра. Это не мотивация. Это стратегия выживания умного человека в мире AI		НИКОЛАЙ НИКИТИН, РУКОВОДИТЕЛЬ ЛАБОРАТОРИИ AUTOML В ИНСТИТУТЕ ИИ, ИТМО

КАК LLM ПОМОГАЮТ УЧЕНЫМ: AUTO ML, ИИ-АССИСТЕНТЫ И ОПЕНСОРС

Уже сейчас генеративные модели ИИ трансформируют научные исследования, автоматизируя рутинные задачи и ускоряя многие этапы работы ученых. В докладе я расскажу, как большие языковые модели (LLM) участвуют в жизненном цикле научных исследований: совместного применения AutoML и LLM для решения нестандартных задач в области Data Science до трансформации ""сырого"" кода в качественные и open-source проекты, доступные международному сообществу и обеспечивающие воспроизводимость результатов.

Отдельное внимание будет уделено опыту разработки open-source ИИ-решений в Университете ИТМО, включая AutoML-фреймворк FEDOT и новый инструмент OSA (Open Source Advisor), предназначенный для улучшения научных репозиториев. Я разберу несколько практических кейсов и продемонстрирую, как эти инструменты повышают эффективность решения исследовательских и прикладных задач.

Доклад ориентирован на ученых, data scientist'ов, участников ресерч-команд и всех, кто хочет узнать, как ИИ открывает новые горизонты на стыке науки и технологий		КИРИЛЛ ТЕРЕХИН, АНАЛИТИК, СРАВНИ.РУ

А/Б-ТЕСТЫ БЕЗ ЛИШНИХ ЗАТРАТ: САМОПИСНЫЙ СЕРВИС ЗА ПАРУ ВЕЧЕРОВ

Небольшим компаниям не нужен огромный комбайн для А/Б-тестов. (рассказываем что есть сегмент компаний (Сравни в их числе), у которых нет огромного количества регулярных АБ тестов). Мы разработали решение, оптимальное по соотношению функциональности и сложности создания (сюда входит рассказ о сервисе. Сначала концепция, потом техничка.) Мы докажем, что аналитики, без участия разрабов, могут делать сервисы для аналитиков, причем быстро. Если у вас есть идея - не бойтесь экспериментировать, ибо сейчас есть доступные инструменты, которые позволяют сделать рабочие решение с минимальными трудозатратами		13:15 14:00
49
50
14:00 15:00ПЕРЕРЫВ14:00 15:00
51
52
СЕКРЕТНЫЙ ТРЕК: ЧЕКАП+АНАЛИТИКА РЕАЛЬНОГО ФИН.ЭФФЕКТАРАЗРАБОТКА И ВНЕДРЕНИЕ ML-ПЛАТФОРМAI-DRIVEN ПРОДУКТОВЫЕ ИССЛЕДОВАНИЯPRODUCT OPS
53
54
15:00 15:45МАРИЯ ЧАЙКОВСКАЯ, ВРАЧ-ТЕРАПЕВТ, СПОРТИВНЫЙ НУТРИЦИОЛОГ ФК «ЛОКОМОТИВ», ЧЛЕН НАЦ. АССОЦИАЦИИ КЛИНИЧЕСКОГО ПИТАНИЯ, ТРЕНЕР, ПРЕПОДАВАТЕЛЬ УНИВЕРСИТЕТА ОБРАЗОВАТЕЛЬНОЙ МЕДИЦИНЫ

ПРОДУКТИВНОСТЬ 2.0: КАК СПОРТ ДЕЛАЕТ МОЗГ БЫСТРЕЕ И ЭФФЕКТИВНЕЕ		РОМАН ЦАРЕГОРОДЦЕВ, SENIOR ANALYST, ЛИТРЕС

КАК ПЕРЕСЧИТАТЬ В ДЕНЬГИ ЛЮБУЮ ФИЧУ

Расчёт стоимости эффекта (прямо сейчас и на нужном горизонте планирования) позволяет считать P&L команд, ROI конкретных инициатив, точнее присваивать приоритет задачам и, самое главное, смелее приступать к дорогим (по ресурсам, времени или рискам) инициативам. Так или иначе "фичу в деньги" конвертируют все, но не все об этом рассказывают. В этом докладе речь пойдет о том, как это делаем мы в Литрес, как проверяем, что оно нам не врёт и как это можно распространить на другие бизнесы. Расскажу как привязать к деньгам широкий набор метрик, которые не имеют прямой функциональной связи (например, лояльность), так как не все продуктовые метрики, эффект которых можно увидеть в A/B-тесте, имеют прямую функиональную связь с выручкой, но с помощью исторических данных зависимость можно восстановить. Приводится кейс по пересчёту метрик, который будет полезен для аналитики в любых продуктах, где есть непрямая связь между потреблением и монетизацией (например, если есть подписочная модель). Доклад будет полезен опытным аналитикам, которые часто получают запрос "пересчитать непонятное в деньги", тимлидам аналитических команд, которые получают запросы и которые принимают участие в формировании приоритетов, продактам, которые хотят получить инструмент для оценки финансового эффекта своих инициатив. Слушатели научатся пересчитывать инициативы в деньги, выбирать горизонт планирования и считать деньги. Смогут внедрить эти методы и подходы в общий процесс внедрения изменений		АЛЕНА КАРТОШКИНА, SENIOR ML ENGINEER, КУПЕР

КАК СНИЗИТЬ TTM ЗА СЧЕТ УСКОРЕНИЯ РАЗРАБОТКИ ML-МОДЕЛЕЙ

Доклад посвящён способам снижения Time-to-Market (TTM) ML-моделей через ускорение этапов разработки, что позволяет повысить эффективность команд и ускорить получение бизнес-результатов. Основная задача, решённая командой, заключалась в оптимизации длительных фаз ресерча и продуктивизации. Подробно расскажу о том, как за счет ряда архитектурных и структурных изменений (в основном, стандартизации ML-систем, в т.ч. внедрения офлайн фича-стора) можно уменьшить длительность этих этапов разработки.

- Декомпозиция time-to-market (TTM) по этапам разработки моделей. Описание возможных точек роста для оптимизации;
- Описание концепций стандартизации и автоматизации (и возможные инструменты);
- Как автоматизировать фазу ML-ресерча и ускорить продуктивизацию за счет внедрения указанных концепций в ML-систему? Стандартизируем сбор признаков с помощью offline feature-store. Стандартизируем обучение и инференс типичной ML-системы благодаря структурным изменениям в репозитории;
- Как примерить концепции на свою ML-систему - смотрим сверху и ищем общие и различающиеся компоненты (на примере нескольких систем);
- Что мы теряем, а что приобретаем? Описание рисков, ограничений и всех преимуществ внедрения подхода;

В результате внедрения стандартизации ML-систем (в частности, офлайн фича-стора) значительно сократилось время вывода моделей на рынок и ускорилось тестирование новых гипотез. Доклад адресован тимлидам и ML-специалистам, работающим с множеством схожих моделей или крупными моделями, требующими сегментации и регулярного обновления. Целевая аудитория поймёт, как идентифицировать общие компоненты различных ML-систем, эффективно использовать ресурсы и минимизировать технический долг, достигая более быстрого и продуктивного цикла разработки.		ДМИТРИЙ СОЛОВЬЕВ, ПАРТНЕР AI RESEARCH LAB, РАДОСТЬ ПОНИМАНИЯ

КАК ИСПОЛЬЗОВАТЬ СИНТЕТИЧЕСКИХ РЕСПОНДЕНТОВ В ПРОДУКТОВЫХ ИССЛЕДОВАНИЯХ

Развитие AI создало новый инструмент для исследований – синтетических респондентов. Способны ли ИИ-созданные персоны действительно имитировать поведение реальных людей и делать принятие решений дешевле и эффективнее? Разберем, что такое синтетические респонденты, их научную достоверность, как их создавать и для каких задач они эффективны, а где их применение невозможно. Обсудим риски их использования и типичные ошибки при работе с ИИ-персонами. Обсудим тренды в их использовании: мульти-агентный подход и работу с когнитивными ошибками при восприятии инсайтов от ИИ по сравнению с реальными исследованиями. В конце наметим тренды, куда AI двигает исследования и продуктовую разработку и какую роль во всем этом сыграют синтетические респонденты. Слушатели доклада раз и навсегда ответят на свой вопрос - что такое синтетические респонденты и когда и зачем они применимы		АЛЕКСАНДР ПИЛЕВСКИЙ, РУК-ЛЬ ГРУППЫ ПРОДУКТОВОЙ АРХИТЕКТУРЫ SERVERLESS, YANDEX CLOUD

АВТОМАТИЗАЦИЯ ПРОЦЕССОВ ДЛЯ PRODUCT OPS: КАК ОПТИМИЗАЦИЯ РУТИННЫХ ЗАДАЧ МЕНЯЕТ ПРАВИЛА ИГРЫ

В докладе разбираются инструменты и практики автоматизации рутинных задач в для Product Ops, примеры и сценарии применения в Yandex Cloud. Продуктовая ценность заключается в освобождении времени для стратегических задач и улучшении координации между командами за счет автоматизации рутинных процессов, а техническая ценность — в повышении эффективности разработки и масштабируемости решений через инструменты автоматизации, такие как Yandex Workflows. Аудитория узнает, как автоматизация рутинных задач освобождает время для стратегии и улучшает координацию команд. После доклада слушатели смогут эффективнее использовать инструменты автоматизации, снижая нагрузку на разработчиков и ускоряя процессы
15:00 15:45
55
56
15:45 16:30МАРК ГАДЗИЯН, ХИРУРГ-УРОЛОГ, АНДРОЛОГ, ОНКОУРОЛОГ, К.М.Н

МУЖСКОЕ ЗДОРОВЬЕ: МИФЫ И РЕАЛЬНОСТЬ 		ЕГОР ЛЫСЯНСКИЙ, РУК-ЛЬ ОТДЕЛА АНАЛИТИКИ И ТАТЬЯНА ДИДОВА, АРХИТЕКТОР DWH, АЭРО

КАК РАСТИТЬ АНАЛИТИЧЕСКУЮ ПЛАТФОРМУ, А НЕ СТОИМОСТЬ ВЛАДЕНИЯ? СПОСОБЫ ОПТИМИЗАЦИИ ТСО

Наша команда поделится практическим опытом и расскажет, как мы снижаем совокупную стоимость владения (ТСО) в проектах за счет оптимального использования аналитических инструментов и гибкого подхода к построению data-инфраструктуры. Обсудим, как существенно уменьшить расходы и повысить качество маркетинговой и продуктовой аналитики с помощью сочетания различных инструментов и выравнивания данных через аналитические модели. Доклад будет полезен всем, кто хочет эффективно масштабировать data-платформу без полного перехода на дорогие инструменты или оптимизировать затраты на уже используемые сервисы		МИХАИЛ ДЬЯЧКОВ, РУК-ЛЬ НАПРАВЛЕНИЯ SUPPLY & DEMAND BALANCE В ОТДЕЛЕ DS&ML, WILDBERRIES & RUSS

О МАРШРУТИЗАЦИИ И НЕ ТОЛЬКО: DS & ML В ЛОГИСТИКЕ WILDBERRIES & RUSS

Доклад посвящён опыту внедрения Data Science и Machine Learning решений в логистические процессы. Были успешно решены задачи прогнозирования сроков доставки, оптимального выбора склада и построения эффективных маршрутов с помощью ML и методов оптимизации. Это позволило сократить время доставки на 7%, снизить логистические расходы на 10% и улучшить пользовательский опыт. Подробно остановимся на рассказе о решении следующих задач: прогнозировании сроков доставки и выбор оптимального склада, оптимизации логистических маршрутов которые позволили сократить время доставки до 7% и уменьшить затраты на доставку до 10%. Рассматриваются ограничения и требования к данным, эффективность примененных методов, а также ошибки, которых удалось избежать.		МИХАИЛ КОЗЮЛИН, FOUNDER HINTS CONSULTING

«ТАЙНАЯ ЗАКУПКА» КАК ФОРМАТ ПРОДУКТОВОГО ИССЛЕДОВАНИЯ

Расскажу о нашем подходе к исследованию для крупной компании-заказчика сервисов посуточной аренды недвижимости - Авито, Яндекс, Суточно, Островок и тп. Необходимо было исследовать, как площадки защищаются от фрода (например, когда продавец старается вывести сделку за пределы площадки), при этом сделать это так, чтобы не пострадали реальные пользователи. Расскажем кейс сложной тайной закупки с обходом правил, блокировками и штрафами.		ДЕНИС ТЕПЛОВ, CPO, ЛИГА СТАВОК

КАК СОЗДАВАТЬ ЭФФЕКТИВНЫЕ ПРОДУКТОВЫЕ КОМАНДЫ И ДРАЙВИТЬ РОСТ КОМПАНИИ.

Поговорим о том, в чем секрет создания успешного продукта на зрелом рынке, как организовать работу 200 человек над созданием одного продукта, как оценивать эффективность работы продуктовых команд и какие продуктовые метрики лучше использовать для оценки новых фичей/продуктов. В докладе приводятся конкретные примеры как внедрить предложенные подходы
15:45 16:30
57
58
16:30 17:00ЗАКРЫТИЕ КОНФЕРЕНЦИИ16:30 17:00
59
60
СПОРТИВНАЯ ВЕРСИЯ ИНТЕЛЛЕКТУАЛЬНОЙ ИГРЫ «ЧТО? ГДЕ? КОГДА?» В ЗАЛЕ ФИЗИКА, ОБЩЕНИЕ И ФУРШЕТ НА ПЛОЩАДКЕ
61
62
ОНЛАЙН-ТРЕК - 27 мая
63
64
12:00 12:30МИХАИЛ БОДЕ, OWNER/CEO BEYOND RESEARCH

ДЕЛАЕМ QUALITATIVE RESEARCH GREAT AGAIN БЕЗ ОХОТЫ НА ВЕДЬМ. КАК НАУЧИТЬСЯ РАЗЛИЧАТЬ BULLSHIT В КАЧЕСТВЕННЫХ МЕТОДАХ И ЧЕМ ОНИ МОГУТ ОБОГАТИТЬ КОЛИЧЕСТВЕННЫЕ

В продуктовом домене в 2025 году очевиден дисбаланс в подходах к исследованиям. С одной стороны, количественные методы, бизнес-аналитика, дата-анализ достигли высокой степени зрелости. С другой — (а) качественные методы используются точечно, с изобретением велосипедов (многие считающиеся стандартом де-факто методы и техники — от «карты эмпатии» до «решенческих интервью» имеют мало отношения к вдумчивой социологии), со следованием карго-культу, без учёта действительных потребностей команды и продукта в рисёрче, (б) в количественных методах часто ситуация не лучше — полно «мусорных» опросов со статистически незначимыми выборками и вопросами, которые не дают ответа ни на какие значимые для бизнеса вопросы. В то же время качественные методы в продуктовых/CX-исследованиях бывают незаменимы. Но — правильно спроектированные и на своём месте. Я расскажу, как распознать имитационные практики в исследованиях, особенно на стыке качественных и количественных методов, откуда они возникают (спойлер: редко из злого умысла) и как построить прагматически обоснованный пайплайн исследовательского процесса, который принесёт реальную пользу компании вместо красивых слайдов. Покажу это на примере реальных анонимизированных кейсов. А возможно, и на паре не анонимизированных — постараюсь получить аппрув от клиента. Например: почему может быть совершенно бесполезно узнавать паттерны использования аудиостримингов на основе одних только глубинных интервью (спойлер: чтобы изучить вопрос действительно глубоко, интервью лучше сочетать с мобильной этнографией и методами включённого/невключённого наблюдения)		ИРА ИВЧЕНКОВА, BIG DATA PRODUCT OWNER LAMODA

ROI ПРОБЛЕМ: КАК МЫ ФИНМОДЕЛЬ ЭКСПЕРИМЕНТА ДЕЛАЛИ

Когда у тебя десятки экспериментов в месяц, рано или поздно приходят настоящие продуктовые вопросы. Не про uplift в процентах, а про деньги.
Например:
- Что выгоднее — нанять ещё одного аналитика или автоматизировать часть процесса?
- Если фича ускорит эксперименты на 2 дня, а делать её 2 месяца — мы вообще выйдем в плюс?
- Сколько мы теряем, пока продолжаем спорить, выкатывать фичу или нет?

Этот доклад — про то, как мы в Lamoda начали считать всё это и построили финмодель, которая:
— помогает приоритизировать гипотезы по бизнес-ценности,
— показывает потери от долгих тестов и анализа,
— и наконец-то объясняет, зачем продуктам считать NMV uplift, даже если они не финансисты.

Реальные кейсы, честные цифры, немного боли и очень много пользы — особенно если вы хотите, чтобы эксперименты перестали быть игрушкой и начали приносить деньги быстрее		12:00 12:30
65
66
12:35 13:05ДМИТРИЙ МОСКАЛЕВ, SENIOR AI ENGINEER МТС WEB SERVICES (MWS)


КАК НАЙТИ И ПОВЫСИТЬ ЦЕННОСТЬ СУЩНОСТЕЙ В БАЗАХ ДАННЫХ

Всё больше компаний применяют базы данных для структурированного и компактного хранения информации, где каждый элемент источника может быть представлен с помощью сущности.
Получившийся массив данных при правильной обработке открывает доступ к ранее неизвестной и ценной информации для компании за счет сборки или улучшения ER-модели.
Отсутствие процесса создания, проверки правильности и актуализации текущей модели данных существенно затрудняет решение задач по поиску релевантных сущностей как на SQL, так и на естественном языке.
Продуктовая ценность решения заключается в создании сервиса по определению явных и неявных связей между схемами, таблицами и колонками для формирования ER-диаграмм для БД.
Расскажу про то, когда стоит применять LLM, NLP и анализ данных, а также представлю собственный бенчмарк, чтобы показать устойчивость, масштабируемость и оптимизацию решения для разных сценариев использования.
Доклад будет полезен как для компаний, так и для специалистов, которые взаимодействуют с большими данными.		ЕКАТЕРИНА КАРАВАЕВА, ФКН НИУ ВШЭ И Т-БАНК

AI-DRIVEN ИССЛЕДОВАНИЯ РЫНКА: КАК АЛГОРИТМЫ ПРЕДСКАЗЫВАЮТ СПРОС ДО ЗАПУСКА ПРОДУКТА

В рамках доклада расскажу, как синтетические данные и AI-симуляция поведения позволяют предсказывать рыночные тренды до выхода продукта. Вы узнаете, как виртуальные сегменты аудитории, созданные на основе демографии и открытых данных, помогают выявлять скрытые потребности — например, 28% пользователей в мегаполисах готовы платить за «тихий режим» устройств полива («Не шуми ночью»), хотя изначально эта фича не входила в ТЗ.
12:35 13:05
67
68
13:10 13:40АЛЕКСАНДР ДИДЕНКО, РУК-ЛЬ ЛАБОРАТОРИИ ИИ ШКОЛЫ УПРАВЛЕНИЯ СКОЛКОВО

КАК СОЗДАТЕЛИ LLM НЕЗАМЕТНО ПЕРЕДАЮТ ИМ СВОИ ЦЕННОСТНЫЕ ОРИЕНТАЦИИ / КАК ИЗМЕРЯТЬ КУЛЬТУРУ LLM И ПОЧЕМУ ЭТО ВАЖНО

Будут представлены результаты исследования, посвященного культурным особенностям больших языковых моделей (LLM). Исследование показало, что ответы моделей зависят от языка, на котором задан вопрос: например, на итальянском языке модели демонстрируют более высокий уровень счастья, чем на немецком или китайском. Также будет обсуждаться, как российские LLM отражают уникальное сочетание индивидуалистических и коллективистских черт, характерных для менталитета их создателей. Диденко расскажет о том, как культурные установки разработчиков и разметчиков данных проникают в модели, несмотря на попытки сделать их нейтральными. Особое внимание будет уделено уязвимости LLM к манипуляциям через стратегии убеждения, такие как апелляция к авторитету и принцип дефицита. Спикер предложит рекомендации для бизнеса по созданию адаптивных решений для международных клиентов и российского рынка, включая персонализированные системы взаимодействия и инструменты классификации пользователей
РАДОСЛАВ НЕЙЧЕВ, РУКОВОДИТЕЛЬ ГРУППЫ ML РАЗРАБОТКИ В ЯНДЕКС, ПРЕПОДАВАТЕЛЬ ML В МФТИ, ШАД

ПРИВЕДУТ ЛИ LLM К РЕВОЛЮЦИИ В ОБРАЗОВАНИИ?

Многие технологии обещали "революцию" в области образования: книги, видеопроигрыватели, появление MOOC, но классический формат учитель-ученик и работа в группе остаётся одним из основных и наиболее эффективных в образовании. Языковые модели (LLM) обещают персонализированных репетиторов, мгновенную обратную связь и доступность знаний для всех. Но смогут ли они действительно качественно изменить образовательный процесс, или станут одним из множества инструментов?

Основные вопросы, рассматриваемые в докладе:
* почему технологии не приводили к революции в образовании раньше;
* как устроено мышление человека и как это влияет на обучение;
* как LLM могут помочь и как могут навредить образовательному процессу (и как они помогают уже сейчас);
* почему важны не книги/записи/LLM, а самостоятельна работа ученика
* как использовать современные модели чтобы добиться лучших результатов в учёбе, а не разучиться рассуждать
13:10 13:40
69
70
13:45 14:15НИКОЛАЙ МАЦИЕВСКИЙ, РУК-ЛЬ МАРКЕТИНГОВОЙ АНАЛИТИКИ МАГНИТ OMNI

КОГДА A/B ТЕСТОВ МАЛО: АЛЬТЕРНАТИВНЫЕ МЕТОДЫ ОЦЕНКИ ЭФФЕКТОВ В ЭКСПЕРИМЕНТАХ

В докладе я сделаю обзор и приведу примеры из личного опыта оценки сложных эффектов в тех случаях, когда A/B тесты провести затруднительно или технически невозможно. Я рассмотрю преимущества и ограничения подходов Casual Inference, эконометрики и моделирования целевой переменной по распределению. В докладе расскажу про:
* A/B подход и усиление. Обзорно про CUPED, бутстрап и другие методы.
* SUTVA-подход (рандомизированные группы и стратифицированные кластеры). Отслеживание социального (сетевого) эффекта.
* Switchback-тестирование (перемешивание групп, n-fold проверка). Сглаживание влияния сетевого эффекта.
* Uplift-моделирование. Подходы для повышения гранулярности A/B тестов.
* Casual Inference (Casual Impact). Моделирование временного ряда для оценки эффекта.
* Эконометрические моделирование. Учет внешних факторов в моделировании временного ряда.
* A/A-A/B подход: простой и модельный. Быстрая оценка эффекта в случаях невозможности корректного A/B теста Появится предметная информация об одном или нескольких дополнительных подходах для расчета инкремента целевых метрик		АЛЕКСАНДР ИГНАТЕНКО, DATA DRIVEN-ЕВАНГЕЛИСТ ADD2CART

ОТ НУЛЯ К ЕДИНИЦЕ – КАК ЗАВЕСТИ ДВИЖОК ПРОДУКТОВОЙ КОМАНДЫ

Речь про системную проверку гипотез в продуктовой команде. Внедрение процессов регулярной проверки гипотез требует, чтобы команда сделал шаг от нуля к единице и побежала дальше. Для этого я использовал различные механики вовлечения – в рамках серии продуктовых воркшопов для команд ECCO, Асконы и других. Это приводило к тому, что команды начали генерить и проверять первые гипотезы еще по ходу проведения воркшопов, самостоятельно и без поддержки эксперта. Доклад про то, как расшивать сдерживающие факторы в виде галлюцинаций и нехватки экспертизы (или видимости того и другого). Как менять майндсет с чуйки на данные. Как сделать из команды фич команду роста. Какие механики мотивации работают, а какие не очень (и почему). Почему кнут и пряник одинаково плохи для роста конверсии. Как объяснять сложные аналитические концепты, чтобы при этом ни у кого не опустились руки		13:45 14:15
71
72
14:20 14:50РОМАН НЕСТЕР, CO-FOUNDER ARTEUS LLM, FOUNDER SEGMENTO

ПРАКТИКА ПРИМЕНЕНИЯ DATA-DRIVEN LLM НА ПЕРВОЙ ЛИНИИ: МЕТРИКИ, ДАННЫЕ, ДИЗАЙН ДИАЛОГОВ

ИИ в продажах — не про чат-ботов. Это про скорость, память и архитектуру. В докладе — практический разбор кейсов, где RAG‑модель помогла:
– поднять конверсию из лида в сделку,
– ускорить квалификацию,
– сократить цикл принятия решения.
Обсудим:
– как устроена система,
– почему GPT не хватает,
– и что измерять, чтобы автоматизация была не «витриной», а рабочим инструментом		ВИТАЛИЙ ПЕТРОВ , LEAD ML ENGINEER SPORTS

APACHE AIRFLOW КАК КЛЮЧЕВОЙ КОМПОНЕНТ MLOPS ИНФРАСТРУКТУРЫ

Хотим рассказать про использование Apache Airlfow в качестве оркестратора ML пайплайнов и его гибкость для offline расчета моделей и подготовке данных для offline инференса- в чем разница между offline и online инференсом моделей?
- как использовать airflow для менеджмента жизненного цикла ML моделей?
- как конфигурировать airflow для того, чтобы наиболее оптимально изолировать исполнение задач?
- интеграция с другими компонентами MLOps инфраструктурыML инженеры, MLOps, Data ScientistsОпыт и насмотренность при проектировании свое решения для организации жизненного цикла ML моделей		14:20 14:50
73
74
75
76
77
78
79
80
81
82
83
84
85
86