| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | КУПИТЬ БИЛЕТ: https://matemarketing.ru/pricing | ПОКУПКА БИЛЕТОВ ОТ ЮР.ЛИЦА: на сайте https://matemarketing.ru или через запрос в почту money@matemarketing.ru | НАША КОНТЕНТ ПЛАТФОРМА С БОЛЕЕ ЧЕМ 400 ДОКЛАДАМИ ПРОШЛЫХ ЛЕТ: https://lms.matemarketing.ru | ||||||||||||||||||||
2 | |||||||||||||||||||||||
3 | 20 НОЯБРЯ (ЧТ) - МОСКВА, КЛАСТЕР ЛОМОНОСОВ | ||||||||||||||||||||||
4 | 09:00 10:00 | ВСТРЕЧА УЧАСТНИКОВ КОНФЕРЕНЦИИ НА ПЛОЩАДКЕ, ЗНАКОМСТВО, ОБЩЕНИЕ И НЕТВОРКИНГ, УЧАСТИЕ В СТЕНДОВЫХ АКТИВНОСТЯХ, WELCOME-КОФЕ и пр | 09:00 10:00 | ||||||||||||||||||||
5 | 9:45 10:00 | ОТКРЫТИЕ | 9:45 10:00 | ||||||||||||||||||||
6 | |||||||||||||||||||||||
7 | KEYNOTES и ТРЕНДЫ | ЭФФЕКТИВНОСТЬ РЕКЛАМНЫХ КАМПАНИЙ И ОПТИМИЗАЦИЯ МАРКЕТИНГА | CJM И ПОВЕДЕНЧЕСКАЯ АНАЛИТИКА | ТРЕК | |||||||||||||||||||
8 | |||||||||||||||||||||||
9 | 10:00 10:30 | СЕРГЕЙ ЗАХАРЧЕНКО, РУКОВОДИТЕЛЬ DOPAMINE ANALYTICS СТРОИМ СКВОЗНУЮ АНАЛИТИКУ С УЧЕТОМ ТРЕБОВАНИЙ 2025 ГОДА: ОТ ВЫБОРА СЕРВИСОВ ДО ЮРИДИЧЕСКОЙ БЕЗОПАСНОСТИ Расскажу о том, как построить сквозную аналитику в 2025 году так, чтобы она соответствовала новым требованиям к локализации и трансграничной передаче данных. Задача — обеспечить бизнесу прозрачные отчеты без риска блокировок и штрафов. Слушатели получат ответы на следующие вопросы: Почему тема актуальна — санкции, уход сервисов, новые правила трансграничной передачи. Трансграничная передача данных — что попадает под запрет и почему «обходы» опасны. Что используют топ-100 e-com — презентация небольшого исследования. Какие есть безопасные варианты — локальные сервисы и self-hosted решения. Сервисы сбора данных — Метрика, ЯТМ, Matomo, PostHog. Хранение и обработка — Яндекс Облако / VK Cloud, ClickHouse/Postgre, ETL (Airflow, Prefect). Визуализация — DataLens, Visiology, FineBI. Типовой стек — ритейл, банки, страховые, индустриальные компании. Кейс НЛМК — переход на РФ-инфраструктуру, снижение рисков. Выводы — сквозная аналитика = бизнес-метрики + юридическая устойчивость. Слушатели узнают какие инструменты для сквозной аналитики в 2025 году реально безопасно использовать в РФ и как строить стек так, чтобы он был устойчив и к бизнес-рискам, и к юридическим ограничениям | ЕКАТЕРИНА ХОДЮШИНА, РУКОВОДИТЕЛЬ ИНСТИТУТА АНАЛИТИКИ KOKOC GROUP АССОЦИИРОВАННЫЕ ROPO-ЗАКАЗЫ. КАК НАЙТИ НЕДООЦЕНЕННЫЕ РЕКЛАМНЫЕ КАМПАНИИ Мы расскажем как ROPO эффект полноценно разложить на каналы, источники и рекламные кампании с достаточно глубокой детализацией о поведении таких клиентов. Разберем задачу сегментации на тех, кто любит сначала посмотреть в офлайне. Поговорим о том, как управлять ROPO-эффектом и офлайн-потоком за счет онлайн-рекламы и оцифровывать эти тесты не только переходами на страницу контактов или построение маршрутов, но и заказами, которые совершены в офлайне. Мы отслеживаем на постоянной основе ROPO-эффект крупного мебельного интернет-магазина с шоурумами по всей РФ, используем его для принятия решений об оптимизации и масштабировании РК. Не смотря на то, что ROPO рассчитывается в трех моделях атрибуции, для оперативной оценки дополнительного вклада рекламных кампаний в ROPO эффект, появилась идея рассчитать ассоциированные ROPO заказы. В рамках доклада подробно остановимся не только на учете ROPO-эффекта как такового, но и оценке влияние всех каналов, которые участвуют в цепочке таких заказов. Научим определять «планку», после которой можно больше не гоняться за дооцифровкой клиентов в офлайне, потому что всегда будут те, кто вообще не был на сайте, а просто сразу пришел в офлайн, научим понимать когда дальнейшая дооцифровка не даст значимого эффекта и стоит остановиться. При достаточном уровне технической подготовки команды могут сделать нечто похожее - повторить методологию анализа с учетом ROPO эффекта и возможно, какие-то из приведенных гипотез/тестов и повысят эффективность вкладывания денег в дооцифровку офлайн-клиентов | ЕКАТЕРИНА СИВАКОВА, АНАЛИТИК-РАЗРАБОТЧИК ДЗЕН ДИНАМИЧЕСКИЙ CJM: ОТ ДАННЫХ К РЕШЕНИЯМ: РАЗМЕТКА, АГРЕГАЦИЯ, ВИЗУАЛИЗАЦИЯ Мы создали автоматизированный динамический инструмент CJM для анализа сессий в Дзене (75 млн MAU), который позволяет глубоко анализировать сессии (частотные сценарии, топовые переходы в различных фильтрациях). Инструмент выведен в прод внутреннего контура и обновляется ежедневно без аналитической поддержки. Для большинства компаний CJM - важная часть пользовательской аналитики, а нам, как контентной платформе крайне важно понимать как пользователь пользуется нашим продуктом, инструмент уже помогает скорить продуктовые инициативы и помогает защищать доработки сценариев (что уменьшает TTM для многих фич). Опыт основан на полном цикле разработки - от потребности бизнеса до запуска как продукта. Мы выбрали два ключевых типа визуализации, выстроили процессы между продуктовыми командами и решили технические вызовы корпоративной среды. Мой доклад поможет аналитикам сделать такой же инструмент у себя, заранее зная какие подводные камни могут быть. Слушатели узнают, как внедрить подобное решение в своих проектах (в том числе предоставлю шаблон питон-ноутбука на тестовых данных и расскажу как подготовить данные), а также познакомятся с основными проблемами и вызовами, с которыми мы столкнулись в процессе разработки. Этот опыт поможет слушателям избежать типичных ошибок при создании собственного аналитического инструмента | 10:00 10:30 | ||||||||||||||||||
10 | |||||||||||||||||||||||
11 | 10:30 11:00 | ДЕНИС ДИМИТРОВ, СОЗДАТЕЛЬ ЛИНЕЙКИ МОДЕЛЕЙ KANDINSKY, СБЕР ГЕНЕРАТИВНЫЙ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ: ТРЕНДЫ, ВЫЗОВЫ И ПРИМЕНЕНИЯ В докладе обсудим современное состояние и ключевые применения генеративного ИИ: от текстов и изображений до видео и звука. Поговорим о развитии фундаментальных моделей в Сбере, таких как GigaChat и Kandinsky, и их роли в трансформации бизнеса и маркетинга. Отдельное внимание уделим тому, какие новые компетенции становятся важными для аналитиков и маркетинг-лидеров в условиях стремительного внедрения ИИ, и как выстроить баланс между технологиями и человеческой экспертизой. | АЛЕКСАНДР СБЫТОВ, HEAD OF ANALYTICS CAMPAIGNER ГЕОТЕСТ V.2.0 -- ПРОДУКТ ДЛЯ НАХОЖДЕНИЯ ИМПАКТА МЕДИА ТРАФИКА Ценность кейса в использовании исследований, кластеризации, геотестирования и контрфактуального анализа для подтверждения импакта от медийной рекламы в росте кол-ва продаж и выручки. Для улучшения продукта мы использовали методы автоматизации построения датасета, автоматическую кластеризацию и собственный продукт, позволяющий выбрать тестовые и контрольные регионы, а так же оптимальные периоды для запуска геотеста. Благодаря дополнениям и доработкам продукта нам удалось избежать проблем сильных категорийных трендов и некорректного подбора контроля и теста, а так же серьёзно сократить время на подготовку геотеста и подведение итогов. Благодаря продукту мы показываем импакт медийной рекламы на продажи, а не просто оперируем метриками, вроде показов и охватов, благодаря чему мы можем качественно улучшать медийную рекламу и помогать клиентам защищать медиа бюджеты перед начальством. Успешность и значимость решения является увеличение бюджетов на медиа после доказанного статистически значимого положительного результата увеличения продаж по итогу геотеста. Как измерить влияние медийной рекламы на продажи? Какие обстоятельства могут помешать проведению эксперимента? Как с помощью наших решений мы увеличиваем точность эксперимента. Почему наше решение во многих ситуациях работает лучше стандартного Conversion Lift а зачастую является единственным рабочим инструментам в текущих медиа-сплитах. Аудитория узнает про подход, позволяющий измерить реальный прирост продаж благодаря медийным бюджетам, узнает подход по проведению геотестирования. Базовые версии продуктов и библиотек, которые мы покажем и подход в целом можно легко освоить и начать использовать на стороне агентств для доказательной базы необходимости и эффективности медийной рекламы в сплите, а клиенты узнают что импакт от медиа можно посчитать и что медийка может быть инкрементальной. Пользоваться нашим подходом можно и без автоматизации и использования кода для подготовки геотеста. Для этого можно использовать Excel. Для нахождения импакта после завершения геотеста необходимо использовать код и библиотеку, которая в базовом виде без наших дополнений для удобства и детализации очень простая и занимает буквально несколько строк кода | РОМАН ЦАРЕГОРОДЦЕВ, SENIOR ANALYST ЛИТРЕС ПОЧЕМУ ВАШИ ВОРОНКИ ВАМ ЛГУТ, ИЛИ КАК РАССЧИТАТЬ ЦЕННОСТЬ КАЖДОГО ДЕЙСТВИЯ ПОЛЬЗОВАТЕЛЯ В ВАШЕМ ПРОДУКТЕ С ПОМОЩЬЮ МАРКОВСКИХ ЦЕПЕЙ Линейные воронки искажают картину в сложном CJM: частые события кажутся важными, а настоящие узкие места остаются невидимыми. Мы покажем, как через марковские цепи посчитать маржинальный вклад каждого действия (removal-effect), объединить его со стоимостью и ранжировать действия по ROI. Так как CJM нелинеен, пользователи петляют между экранами и каналами, а прямая воронка скрывает реальные узкие места и даёт смещённые приоритеты. Мы произвели оценку маржинального вклада каждого события на путях пользователя с помощью марковских цепей: сформировали состояния (события), посчитали матрицу переходов и removal-effect (изменение вероятности/дохода при удалении события из цепочки), объединили вклад с стоимостями (операционные, медийные) и отранжировали действия не по частоте, а по реальному влиянию. Аудитория сможет посмотреть на свои пользовательские воронки под неожиданным углом, понять важность сравнения ценности и стоимости на каждом этапе и сделать самостоятельно первые шаги в своём продукте к хорошему расчёту ценности. Слушатели получат готовый чек-лист подготовки данных, расчёт матрицы переходов и доверительных интервалов и список ограничений, чтобы не попасть в ловушки метода. | 10:30 11:00 | ||||||||||||||||||
12 | |||||||||||||||||||||||
13 | 11:00 11:30 | ОЛЕГ БАРТУНОВ, СООСНОВАТЕЛЬ И ПРЕЗИДЕНТ POSTGRESS PROFESSIONAL ЭВОЛЮЦИЯ ДАННЫХ Сегодня мы находимся в точке перехода к потоковой модели данных, обеспечивающей бесшовную работу, устраняя барьеры между СУБД, сервисами и инфраструктурой | МАКСИМ АНДРЕЕВ, РУКОВОДИТЕЛЬ АНАЛИТИКИ ПРИВЛЕЧЕНИЯ И ПЛАТФОРМЫ АТРИБУЦИИ И ИГОРЬ ПОСТАЛЕНКО, РУКОВОДИТЕЛЬ УПРАВЛЕНИЯ ОНЛАЙН-МАРКЕТИНГА, Т-БАНК CAC И ПОЧЕМУ: КАК УБЕДИТЬ БИЗНЕС СЭКОНОМИТЬ МИЛЛИАРДЫ ПЕРЕЕХАВ НА НОВУЮ МОДЕЛЬ АТРИБУЦИИ ПРИВЛЕЧЕНИЯ Обсудим, почему привычная модель last click искажает эффективность каналов и ведёт к миллиардным потерям; как длинная цепочка касаний клиента (ТВ, баннеры, поиск, звонки) делает задачу атрибуции ключевой для оценки окупаемости. Поговорим о том, что такое прирост (uplift) и зачем запускать аплифт-эксперименты; разберем кейс Т-Банка — как эксперимент показал, что фактическая стоимость клиента была в 2 раза выше таргета, и это помогло сократить расходы на сотни миллионов рублей. Слушатели узнают какие подходы к выбору модели атрибуции реально работают; как убедить бизнес отказаться от простых, но неверных решений; почему даже крупные корпорации готовы менять устоявшиеся процессы, если аргументы опираются на данные | МИХАИЛ СТРОГАНОВ, ПРОДУКТОВЫЙ АНАЛИТИК МАГНИТ OMNI PREFIXSPAN И SEQ2PAT: КАК НАХОДИТЬ РЕАЛЬНЫЕ ПОЛЬЗОВАТЕЛЬСКИЕ ПУТИ ЗА МИНУТЫ В рамках доклада я расскажу об использовании алгоритмов PrefixSpan и Seq2Pat для анализа путей пользователей. Классический анализ пользовательских путей часто упирается в ограничение по длине последовательностей: чем длиннее путь, тем сложнее и дольше его считать. Перебор комбинаций событий быстро разрастается до десятков миллионов вариантов, значительная часть которых на практике не встречается. В результате аналитики вынуждены упрощать картину, ограничиваясь короткими воронками и предположениями о «правильном» сценарии. Но линейные воронки скрывают критические точки поведения в сложном CJM. Подробно остановлюсь на том, как алгоритмы PrefixSpan и Seq2Pat позволяют анализировать реальные последовательности пользовательских событий без перебора «пустых» комбинаций. Этот подход сокращает время расчётов, позволяет работать с длинными путями, открывает доступ к детальной «карте» поведения клиентов, помогает находить неожиданные точки оттока и зоны роста продукта. Продемонстрирую как PrefixSpan и Seq2Pat извлекают зmнbаwчzиvмqые последовательности без перебора «пустых» комбинаций, открывая доступ к длинным путям, неожиданным точкам оттока и зонам роста. Слушатели получат практические примеры применения алгоритмов PrefixSpan и Seq2Pat на пользовательских путях, инструменты для расширения возможностей анализа и обоснования продуктовых решений. | 11:00 11:30 | ||||||||||||||||||
14 | |||||||||||||||||||||||
15 | 11:35 12:05 | ДМИТРИЙ ЛУНИН, ADVISOR TEAM LEAD АВИТО АНАЛИЗ DIGITAL РЕКЛАМЫ МАРКЕТИНГА С УЧЕТОМ ДОЛГОСРОЧНЫХ ЭФФЕКТОВ Задача – оценить эффект в бизнес метриках digital рекламы Авито для дальнейших рекомендаций по эффектвному использованию бюджетов маркетинга. Сложность этой задачи состоит в том, что на эту рекламу не обязательно кликать: пользователь увидел рекламу и только через какое-то долгое время пришел на сайт Авито. Digital рекламу чаще всего оценивают через эконометрические модели, которые практически всегда не провалидированны, кроме этого, есть большое число различных площадок и форматов, которые охватывают разную аудиторию. Мы предлагаемый новый простой подход-инструкцию, который сможет реализовать маркетинговый аналитик у себя в компании. Нами было придумано, протестировано и реализовано решение, которое позволяет оценивать 2 наиболее крупные площадки: Яндекс и ВК. Это позволит в следующем году перелить бюджеты в наиболее эффективные каналы, а также определить наилучший формат digital рекламы: OLV (ролики) или баннеры. В своем докладе я расскажу о двух методах, которыми можно оценивать digital рекламу маркетинга. Подробно расскажу о том, как оценить долгсрочные эффекты от digital маркетинга и рассмотрю фреймворки, которые позволят сказать, какая площадка лучше с точки зрения эффективности, а также какой формат наиболее эффективен: OLV (ролики) или баннеры? | 11:35 12:05 | ||||||||||||||||||||
16 | |||||||||||||||||||||||
17 | 12:10 12:40 | ПАВЕЛ ДУБИНИН, РУК-ЛЬ ПРОДУКТОВОГО РАЗВИТИЯ YANDEX DATALENS ЯНДЕКС CLOUD НЕЙРОАНАЛИТИК В YANDEX DATALENS: КАК AL МЕНЯЕТ ПРИВЫЧНЫЕ BI-ИНСТРУМЕНТЫ Внедрение нейросетей в BI-инструменты меняет подход к аналитике данных, делая её более интуитивной и доступной. В Yandex DataLens мы интегрировали Нейроаналитика — AI-агента, который помогает строить графики, находить в них инсайты, делать выводы из таблиц, получать ответы из документации сервиса. В докладе речь пойдет о снижении порога входа для пользователей без глубоких аналитических навыков, ускорении процесса анализа данных за счет автоматизации рутинных задач (построение визуализаций, формирование SQL-запросов), улучшении UX за счет интерактивного взаимодействия с данными через чат. Также поговорим о том, как нейросети трансформируют BI-инструменты и переводят взаимодействие от простой выгрузки статических отчётов в интерактивный диалог с данными и о том, как решаются проблемы пользователей - «я не знаю, как сформулировать запрос», «я не знаю, какой график выбрать», «я не знаю, как пользоваться этим инструментом», «я не вижу закономерностей в данных» и др. Кроме этого, расскажу непосредственно, про Нейроаналитика - архитектуру решения и реальные кейсы использования. Слушатели познакомятся с кейсами применения и познакомятся с новым инструментом, который не только ускорит их работу, но и в будущем станет must-have для любого специалиста, работающего с данными. Важно уже сейчас увидеть для себя сценарии, которые ускорят работу, пока не обогнали другие | ВЯЧЕСЛАВ МАРКОВ, ОСНОВАТЕЛЬ TARGETADS ГЛАВНОЕ — ВНИМАНИЕ: КАК ATTENTION-МЕТРИКИ МЕНЯЮТ ОЦЕНКУ ЭФФЕКТИВНОСТИ МЕДИЙНЫХ КАМПАНИЙ Attention-метрики сегодня обсуждают все, но далеко не у всех получается работать с ними грамотно. Разберём, почему количество показов больше не отражает успех кампании. Обсудим плюсы и минусы международных стандартов, ключевые метрики внимания и их влияние на conversion index и бизнес-результаты. | 12:10 12:40 | |||||||||||||||||||
18 | |||||||||||||||||||||||
19 | 12:45 13:15 | НАТАЛИЯ МИХАЛЕВА, ДИР-Р ПО ПРОДАЖАМ CLICK.RU КАСТЫ РОССИЙСКОГО МАРКЕТИНГА: ПРОПАСТЬ МЕЖДУ ВОЗМОЖНОСТЯМИ ENTERPRISE И СМБ В докладе речь пойдет о том, как произошел «великий разрыв» и как и почему рекламный рынок разделился на касты. Мы поговорим о том, почему массовые рекламные каналы пришли в тупик, а главные инструменты СМБ столи под угрозой (финансовое давление, усложнение законодательства, кризис компетенций и пр). Поделюсь статистикой click.ru (тысячи агентств и бизнесов, которые каждый день пытаются ответить себе и клиентам на один вопрос - где взять еще клиентов при тех же бюджетах) о реальности СМБ-маркетинга и дам практические рекомендации для СМБ-компаний. Эти рекомендации основаны на анализе реального поведения СМБ-клиентов click.ru. Метрики нашего результата - объемы диверсифицированных бюджетов. Мы научились не складывать яйца в одну корзину и учим этому наших пользователей. Слушатели получат практические рекомендации и алгоритм принятия решений о распределении бюджета между каналами. Вместо фокуса на общепринятых каналах получат приоритизированный список альтернатив с реальными показателями эффективности, а еще мы поговорим о процессах более глубоких, чем конверсия здесь и сейчас | УМАР БАЧАЕВ, РУКОВОДИТЕЛЬ СЛУЖБЫ МАРКЕТИНГОВОЙ ОПТИМИЗАЦИИ ЯНДЕКС ЕДА ПЛАНИРОВАНИЕ НАРУЖНОЙ РЕКЛАМЫ С УЧЁТОМ ПОВЕДЕНИЯ ЦЕЛЕВОЙ АУДИТОРИИ: ПОДХОДЫ И КЕЙСЫ Доклад посвящён тому, как можно переосмыслить планирование наружной рекламы, делая ставку не на общий трафик, а на охват именно целевой аудитории. В классической модели наружка размещается по агрегированным метрикам без учёта соцдема и поведения. Я покажу, как это можно изменить: с помощью ежедневных данных о перемещении и характеристиках сегментов, мы строили адресные медиапланы, измеряли охват и OTS по ЦА, оценивали эффективность размещений не только в Москве, но и в менее охваченных городах. - Наружная реклама часто теряет эффективность из-за того, что охваты считаются по общему трафику, а не по целевой аудитории. Я покажу, как изменить фокус с "всех" на "нужных". Мы разработали подход, который позволяет оценивать ежедневный охват и частоту контактов именно по целевым сегментам — по полу, возрасту, доходу — и использовать эти данные для построения адресных медиапланов. Расскажу, как мы создавали тепловые карты плотности ЦА и использовали их для выбора локаций с максимальной концентрацией нужной аудитории, включая регионы вне охвата классических медиаизмерителей. Покажу, какие метрики мы использовали для оценки эффективности кампаний — охват, OTS — и как отбирали локации. Поделюсь выводами из нескольких реальных кейсов: как удалось сократить число поверхностей без потери в эффективности за счёт повышения релевантности размещений. Слушатели увидят, какие подходы к наружной рекламе возможны помимо классических: как использовать поведенческие и соцдем-срезы, как работать с динамическими охватами, как выстраивать адресное размещение в условиях ограниченного инвентаря. Это позволит точнее ставить задачи подрядчикам, пересматривать текущую логику планирования и находить ресурсы для улучшений внутри компании или в партнёрской экосистеме.Опыт основан на реализации реальных кампаний в крупной компании, где наружная реклама — часть системного медиапланирования. Я покажу, как использовать поведенческие и соцдем-данные для повышения адресности размещений, какие метрики применять на практике и как подход адаптируется под разные города и задачи | 12:45 13:15 | |||||||||||||||||||
20 | |||||||||||||||||||||||
21 | 13:20 13:50 | ВИТАЛИЙ ЧЕРЕМИСИНОВ, BUSINESS OWNER TRISIGMA, EX-EXPF ИНТЕРВЬЮ: ОЖИДАНИЯ И РЕАЛЬНОСТЬ НА ПУТИ ОТ СТАРТА ДО ПРОДАЖИ БИЗНЕСА СТРАТЕГУ | 13:20 13:50 | ||||||||||||||||||||
22 | |||||||||||||||||||||||
23 | 14:00 15:00 | ПЕРЕРЫВ | 14:00 15:00 | ||||||||||||||||||||
24 | |||||||||||||||||||||||
25 | A/B-эксперименты | CUSTOMER VALUE OPTIMIZATION | A/B-эксперименты | ФИЗИКА | |||||||||||||||||||
26 | |||||||||||||||||||||||
27 | 15:00 15:30 | АНДРЕЙ РОМАНОВ, ANALYTICS TEAM LEAD АВИТО 1 КАК МЫ ПОЛУЧИЛИ P < 0.001 НА 10 НАБЛЮДЕНИЯХ В ГРУППЕ. УЛЬТИМАТИВНЫЙ ГАЙД ПО A/B-ЭКСПЕРИМЕНТАМ НА МАЛЫХ ВЫБОРКАХ В B2B, SaaS, Sales/Support и офлайн-бизнесе трафика мало и классический A/B на десятках тысяч пользователей здесь неприменим: выборки малы, метрики «шумные», риск ложноположительных выводов высок. Мы доказали, что можно получать статистически и бизнес-значимые результаты даже при ~10 наблюдениях на группу за счёт грамотного дизайна эксперимента. ��Слушатели доклада научатся оценивать инициативы в B2B/SaaS/офлайне при малом количестве наблюдений и получат чек-лист дизайна A/B-экспериментов на малых выборках и описания паттернов variance reduction для резкого роста мощности, что в итоге способствует получению валидных решений быстрее и с прогнозируемым риском ошибки | ВИКТОР КРЫЛОВ, ДИРЕКТОР ПО ПРОДУКТУ БИЛАЙН ОБРАТНЫЙ КОГОРТНЫЙ АНАЛИЗ ОТТОКА. МОЖНО ЛИ СОЗДАТЬ ИДЕАЛЬНОГО КЛИЕНТА ИЛИ ОНИ ТАКИЕ С ПРИВЛЕЧЕНИЯ? Была задача ответить на вопрос: клиенты, которые в итоге "выживают" в когортах - они изначально другие или их портрет развивается из типового новичка в лояльного клиента? Ответ на этот вопрос в разрезе метрик поведения позволяет перестраивать стратегию онбординга и активации клиента, особенно - с дополнительной материальной мотивацией. В докладе рассмотрим, что такое обратный когортный анализ и в чем его ценность? С какими метриками работает маркетинг и продукт в когортном анализе. Разберемся как работает активация в онбординге и как крупнейшие компании пытаются привести клиента к целевому поведению (на примере Самоката, Яндекса и др.) Фишка доклада - новый вид визуализации обратного когортного анализа для оттока. Расскажу о том, что он дает, каковы плюсы и минусы этого варианта анализа, поделюсь кейсами применения. Слушатели получат простой и удобный инструмент/методологию для изучения своей клиентской базы и формирования стратегии по ее удержанию | ПЛАТОН ПОПОВ, АНАЛИТИК-ИССЛЕДОВАТЕЛЬ и АНАСТАСИЯ СОКОЛОВА ЛИД А/Б-ПЛАТФОРМЫ WILDBERRIES ПОСЛЕДОВАТЕЛЬНОЕ ТЕСТИРОВАНИЕ: КАК ЗАВЕРШАТЬ A/B-ТЕСТЫ БЫСТРЕЕ Последовательное тестирование (или Group Sequential Testing) — это способ завершать a/b-тесты досрочно, при этом сохраняя достоверность результатов. Мы проверили работу метода GST на реальных данных WB. И выяснили, что могли бы завершать наши прошедшие эксперименты в среднем на 3-4 дня раньше, при этом ошибки 1 и 2 рода не изменились бы. Мы расскажем, как можно легко имплементировать GST без изменения процесса сбора данных по эксперименту благодаря тому, как мы предлагаем получать заранее неизвестный объем выборки, который необходим для работы этого метода. В своем докладе расскажем, как устроен Group Sequential Testing, чтобы завершать эксперименты раньше при сохранении ошибок I/II рода. Разберём А/А для контроля «подглядываний», симуляции мощности с искусственным эффектом и практику для ratio-метрик и малых выборок. Слушатели узнают как и насколько можно сократить продолжительность A/B-теста, используя последовательное тестирование, как получать неизвестный заранее объем выборки, какова ошибка первого рода при каждом подглядывании на А/А-тестах и мощность процедуры при добавлении искусственного эффекта в реальные метрики, какую долю тестов не удалось завершить досрочно и в скольки процентах случаев мы ошибочно остановили тест раньше, как настроить работу последовательного тестирования под реальные аб-тесты. Как встрить GST в A/B-платформу в формате «мониторинга по расписанию» с авто-отчётами и guardrails (retention, revenue, жалобы). Слушатели получат готовый протокол и чек-лист интеграции GST в A/B-платформу без изменений сбора данных, шаблоны дизайна А/А-экспериментов и симуляций для оценки ложных срабатываний и мощности на своих метриках и смогут начать принимать решения быстрее и прозрачнее. После нашего доклада слушатели будут более уверены в эффективности и валидности последовательного тестирования, а также получат гайды по его применению. | 15:00 15:30 | ||||||||||||||||||
28 | |||||||||||||||||||||||
29 | 15:30 16:00 | ОЛЕГ ЯКСИН, HEAD OF BUSINESS PERFORMANCE ANALYTICS, АВИАСЕЙЛС КАК АВТОМАТИЗИРОВАТЬ АНАЛИЗ ЭКСПЕРИМЕНТОВ И НЕ ЗАПУТАТЬСЯ В СТАТИСТИЧЕСКИХ МЕТОДАХ При анализе экспериментов аналитик неизбежно сталкивается с выбором статистических методов для проверки значимости результатов. Возникает множество практических вопросов. Как снизить дисперсию метрик? Стоит ли использовать стратификацию и CUPED, и какой эффект они дадут? Если метрика имеет вид отношения (ratio), то как корректно её анализировать: применять ли линеаризацию, дельта-метод, как правильно взвешивать юниты? Как определить наилучшее сочетание методов именно для вашей метрики? Как учитывать выбранные методы при расчёте объёма выборки? И главное — как всё это унифицировать и автоматизировать, чтобы процесс был быстрым, прозрачным и воспроизводимым? Я изучил множество материалов, систематизировал подходы и собрал их в единый понятный пайплайн, который реализовал в виде Python-библиотеки для автоматизации анализа экспериментов. Слушатели доклада станут ориентироваться в статистических методах анализа экспериментов, получат понятный пайплайн анализа и смогут использовать открытую библиотеку | АЛЕНА АРТЕМЬЕВА, РУК-ЛЬ УПРАВЛЕНИЯ АНАЛИТИКИ И ОТЧЕТНОСТИ РОЗНИЧНЫХ ПРОДАЖ КАК РАЦИОНАЛЬНО ИСПОЛЬЗОВАТЬ НЕРАЦИОНАЛЬНОЕ ПОВЕДЕНИЕ КЛИЕНТОВ И ПОВЫСИТЬ ЭФФЕКТИВНОСТЬ МАРКЕТИНГА, ПРОДУКТА И ПРОДАЖ | ПАВЕЛ БУХТИК, HEAD OF ANALYTICS NO DATA NO GROWTH ПОЧЕМУ 8 ИЗ 10 A/B-ТЕСТОВ БЕСПОЛЕЗНЫ И КАК ЭТО ИСПРАВИТЬ В продуктовой разработке A/B-эксперименты давно стали стандартом для проверки гипотез. Но на практике команды часто сталкиваются с типичными ошибками: от отсутствия выделенной проблематики до неправильной интерпретации результатов. В своём докладе я расскажу, как внедрить разработанный мной универсальный чеклист A/B-тестирования, который уже стал частью продуктовых процессов в сотне команд разных компаний, а также помог повысить качество экспериментов. Рассмотрим использование и внедрение чеклиста A/B-экспериментов на конкретном продуктовом кейсе. Как было без него (т. е. без системы), и почему это в разы эффективнее с ним. Покажу, насколько A/B-эксперименты многогранны, и сколько нюансов в себе таят. Объясню, как встроить этот чеклист в ваши процессы. Чеклист содержит сведения о дизайне и мощности: MDE/power, выбор метрик и guardrails, pre-registration гипотез и критериев остановки; чистоте сплита: SRM-мониторы, контроль пересечений и слоёв, выбор единицы рандомизации (user/session/cluster); статистике и валидности: sequential/alpha-spending, контроль множественных проверок (FDR) и др, а также сведения о гигиене данных: DQ-чеки и стабильность логирования. | 15:30 16:00 | ||||||||||||||||||
30 | |||||||||||||||||||||||
31 | 16:00 16:30 | ВИКТОРИЯ КАЧАЛОВА, HEAD OF CONSULTING & PRODUCTION TEAM, KAMELEOON КУДА ДВИЖЕТСЯ МИРОВАЯ ИНДУСТРИЯ А/В-ПЛАТФОРМ. AI КАК GAMECHANGER РЫНКА Мы предлагаем посмотреть на эксперименты по-новому, расскажем про подход Kameleoon, инструменты для простых и сложных экспериментов и о том, как можно снизить затраты на разработку до 97% с помощью AI-ассистента. Kameleoon SAS один из лидеров международного рынка А/В-тестирования, платформа развивается с 2012 года | ФЕДОР ВИРИН, ПАРТНЕР DATA INSIGHT НОВЫЙ ПОТРЕБИТЕЛЬ: КАК ПОЯВИЛСЯ СЕГМЕНТ, КОТОРОГО НЕ ДОЛЖНО БЫЛО БЫТЬ В докладе обсудим, что такое «новый средний класс» и какие макроэкономические события и явления последних лет повлияли на его возникновение. Поговорим об изменении покупательской способности в России: каковы особенности потребления «нового среднего класса» и за какими смыслами эти люди ходят в магазины? Поговорим и о том, насколько это долгосрочное явление. Посмотрим, как отразится появление нового класса на продажи, и как увидеть эти изменения в аналитике. | РУСТЕМ БОГДАНОВ, ПРОДУКТОВЫЙ АНАЛИТИК OZON БАНК ИНДИВИДУАЛЬНЫЕ СТАВКИ НА НАКОПИТЕЛЬНЫХ СЧЕТАХ B2B-КЛИЕНТОВ Перед нами стояла задача не нарушая экономику, доказуемо ответить, повышают ли персональные ставки открытия накопительных счетов и остатки на них, и если да — для каких сегментов и на сколько. Мы проверили гипотезу о том, что чем крупнее клиент, тем больше средств он хранит при более высокой ставке посредством запуска индивидуальных ставок для накопительных B2B-счетов для чего провели серию A/B-экспериментов, оценили эластичность сегментов, а затем обучили ML-модель реакции на изменение ставки и вынесли её в прод и реализовали слой метрик и мониторинга: SRM-чеки, дрейф сегментов, отчётность для быстрого пересмотра политик. Решение задачи включало в себя сбор и интеграцию многочисленных источников данных, построение сегментов, автоматизацию и интеграцию с бэком для определения крупного клиента; проверку гипотез, анализ влияния капитализации, исследование эластичности и тонкую настройку ставок — более 45 вариантов ставок, построение ML-модели, интеграция её в продакшн. В итоге, мы построили авто-обновляемые сегменты и через серию A/B (CUPED, бутстрап) измерили эластичность к ставке (и выявили особенности реакции клиентов на обычную ставку и ставку с капитализацией). Затем обучили ML-модель реакции и вынесли политику ставок в прод, получив +34% к остаткам, +21% к открытиям и ещё +11% в следующей итерации. Слушатели получат гайд по сегментации, корректной аналитике дисперсных метрик и внедрению ML-политик ставок, который можно перенести в свои B2B-продукты. | 16:00 16:30 | ||||||||||||||||||
32 | |||||||||||||||||||||||
33 | 16:35 17:05 | ИВАН КАТРЕЧКО, ПРОДУКТОВЫЙ АНАЛИТИК NAVIO A/B-ЭКСПЕРИМЕНТЫ НА ДОРОГАХ: КАК БАГИ ПРЕВРАЩАЮТСЯ В ПРОГРЕСС В АВТОНОМНОМ ТРАНСПОРТЕ Речь пойдет об опыте проведения А/B-экспериментов для оценки технологии автономного вождения. Основная задача, которую мы решаем — проверить, действительно ли новый релиз или сборка ПО приводит к улучшению метрик безопасности, комфорта и отказоустойчивости технологии в реальных проездах в городе и на трассе. Продуктовая составляющая заключалась в дизайне А/B-экспериментов и интеграции экспериментов в процесс разработки и тестирования. Мы определили набор ключевых метрик (автономность, disengagement rate - пройденная дистанция до вмешательства водителя, частота резких ускорений/торможений, точность удержания в полосе) и способов их расчета для проведения экспериментов. С технической точки зрения мы проработали пайплайн для сбора данных и их валидации, а также стратегию исключения факторов, которые влияют на достоверность результатов (сезонность, особенности маршрутов и локаций, человеческий фактор). Интеграция продуманной системы А/B-экспериментов повлияла на процесс планирования спринтов для команд разработки и оценки их результатов. Мы стали более точно понимать имеющиеся проблемы, их распределение и локализацию, повысили точность и скорость принятия решений за счет получаемых данных. За счет валидации полученных результатов мы научились сокращать объем необходимых технических и человеческих ресурсов для проведения экспериментов. В результате у нас получилось повысить автономность и disengagement rate - увеличить дистанцию, проходимую системой до вмешательства человека. Отдельно остановимся на особенностях оценки self driving-технологии и роль A/B-эксперименты на разных этапах тестирования: испытания на полигоне, симуляторы, А/Б-тесты на реальных дорогах, выборе маршрутов и водителей, контроле внешних факторов (сезонность, особенности локации) и использование статистических методов для анализа ratio метрик с малыми выборками. Поговорим о том, почему A/B-эксперименты недостаточны и как дополнить их факторным анализом и задаче выявления причин изменений: от ручной к автоматической разметке с применением VLM моделей для ускорения и повышения точности анализа данных. После доклада аудитория получит понимание, как правильно проектировать и проводить A/B-эксперименты в сложных технических системах, а также каких ошибок можно избежать, чтобы сэкономить ресурсы. Будет раскрыто, какими метриками измеряются технологии автономного вождения, беспилотных и роботизированных систем. Участники смогут применить методы статистического анализа ratio метрик на малых выборках и освоить стратегии контроля внешних факторов. Многие идеи из доклада смогут сразу войти в бэклог для оптимизации экспериментов и автоматизации анализа данных. | ТИМУР СТЕПАНОВ, LEAD DATA SCIENCE PARI UPLIFT-МОДЕЛИРОВАНИЕ С УЧЕТОМ ПРИЧИННО-СЛЕДСТВЕННОГО ЭФФЕКТА МАРКЕТИНГОВОГО ВОЗДЕЙСТВИЯ Мы решали задачу применения uplift-моделирования для корректной оценки реального влияния промо и персональных офферов. Цель — мотивировать клиентов увеличивать активность, при этом сохраняя баланс рисков для бизнеса. В нашей индустрии есть уникальная особенность — клиент может обыграть компанию, что накладывает дополнительные ограничения на работу с персональными предложениями. Стандартные модели отклика (response models) недостаточны, так как они не учитывают причинно-следственный эффект маркетингового воздействия. Доклад будет полезен командам, работающим с персональными предложениями, retention-маркетингом и предсказательными моделями в индустриях с высокой стоимостью клиента (ставки на спорт, финтех, e-commerce). Слушатели узнают, как перейти от классических моделей отклика к uplift-моделированию, которое позволяет оценить реальное влияние промо на клиента. Они увидят, как можно тестировать и внедрять персональные офферы без избыточных затрат и рисков. После доклада участники смогут применять подходы к построению uplift-моделей в своих проектах, сегментировать клиентов по эффекту от промо и корректнее измерять ROMI маркетинговых активаций.Представленный опыт сочетает теорию и практику: мы построили работающую uplift-модель в одной из самых чувствительных к ошибкам персонализации индустрий. Этот опыт применим во всех отраслях, где важно измерять причинно-следственный эффект маркетинговых воздействий и минимизировать бизнес-риски | РОМАН СОЛОПОВ, ОСТРОВОК КАК ЭКСПЕРИМЕНТИРОВАТЬ С ЦЕНООБРАЗОВАНИЕМ И ПРОМО В B2B ПРОДУКТЕ? | 16:35 17:05 | ||||||||||||||||||
34 | |||||||||||||||||||||||
35 | 17:10 17:40 | ВЛАДИМИР ХОДЗИЦКИЙ, ОСТРОВОК РАНДОМ - НЕ СТРАТЕГИЯ: КАК МЫ ПРОВОДИМ ЧЕСТНЫЕ B2B-ТЕСТЫ С ПОМОЩЬЮ СТРАТИФИКАЦИИ, A/A-СИМУЛЯЦИЙ И РЕРАНДОМИЗАЦИИ | АНАСТАСИЯ ЗИНИНА, HEAD OF DATA SCIENCE РАЙФ ЗА ВСЕМИ ЗАЙЦАМИ: КАК МЫ УПРАВЛЯЕМ РАЗНЫМИ ТИПАМИ КОНТЕНТА В ОДНОЙ РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЕ Когда в одном фиде находятся промо-акции, обучающие материалы, редакторский контент, то они конкурируют друг с другом за показы и клики, тянут в разные стороны бизнес-метрики (доход, вовлечённость, удержание) и легко провоцируют кликбейт. Нашей задачей было свести разнотипные цели в единую систему принятия решений, обеспечить реальный рост метрик и не «сломать» пользователя холодным стартом новых форматов. Как в одной рекомендательной системе одновременно управлять разными типами контента — от промо-акций до обучающих материалов — так, чтобы они не конкурировали друг с другом, а работали на разные бизнес-метрики - нетривиальная задача. Я расскажу о том, как мы построили real-time ранжирование предложений, которое учитывает многомерные цели бизнеса (доход, вовлеченность, удержание), риски кликбейта, холодный старт для новых типов контента и разработали подход, соответствующий всем критериям. В результате увидели рост click rate до 42% и до 100% для новых "холодных" предложений, рост конверсии в продажу до 74%. Все бизнес-метрики можно свести к Customer Lifetime Value. Однако прогноз этой величины - отдельная сложная задача, для MVP как таргет можно рассмотреть click rate. Если внимательно посмотреть на контент и баннеры в мобильном приложении, можно упростить задачу и свести все к многоклассовой классификации на признаках клиента, так как признаки контента в баннерах могут быть не слишком информативны. Предыдущее упрощение поставит нас перед проблемой "холодного старта". Ее можно решить с помощью многоруких бандитов, но это в свою очередь приводит к проблеме кликбейта среди "холодных" продуктов, которую мы решаем преобразованием распределений вероятности клика для "горячих" продуктов, а проблему кликбейта в горячих продуктах - переходом к предсказанию целевого действия вместо клика, наращивая эффективность рекомендаций в целом. Слушатели увидят подход к проектированию успешного MVP рекомендательной системы - как макисмально упростить задачу, не потеряв в бизнес-эффекте и получат практические идеи по борьбе с "холодным стартом" и кликбейтом. Проблемы, которые решаются, - классические, поэтому будут актуальны для любого DS/MLE, имеющего дело с рекомендательными системами. Наше решение позволяет решить основные проблемы рекомендательных систем и подкреплено значительным ростом бизнес-метрик | АРТЁМ ПРОКОПЕНКО, ЛИД ПЛАТФОРМЫ ЭКСПЕРИМЕНТОВ ЦИАН КАК СОБИРАТЬ И УНИФИЦИРОВАТЬ МЕТРИКИ ДЛЯ A/B-ЭКСПЕРИМЕНТОВ С ПОМОЩЬЮ METRICS DEFINITION LANGUAGE В большом пуле экспериментов события из мобильного приложения, веба и CRM имеют разные схемы, агрегируют по разным правилам и хранятся в разных местах. При этом в каждом эксперименте может быть свой уникальный набор метрик и разрезов. Требовалось создать единый подход к описанию и вычислению метрик, чтобы корректно делать расчёты независимо от источника и состава метрик. В докладе речь пойдет о том, как собирать и унифицировать метрики для A/B-экспериментов с помощью MDL (Metrics Definition Language), когда данные приходят из разных источников и в разных форматах. Использование MDL позволило стандартизировать и централизовать метрики, сократить ручную работу, ускорить подготовку отчетов экспериментов и повысить точность оценки результатов экспериментов. Для продукта это означало более быстрые и обоснованные решения по фичам. MDL обеспечивает гибкость, масштабируемость и воспроизводимость AB-тестов, позволяя быстро добавлять новые метрики и эксперименты без изменения инфраструктуры — в отличие от жестких решений вроде Doordash. Нам удалось реализовать гибкость для каждого эксперимента: разные наборы метрик и разрезов для каждого теста без изменения кода; поддержка любых источников данных: объединение мобильных, веб и CRM-данных с разными схемами и форматами таблиц; многоуровневую агрегацию и разрезы: CUBE, пользовательские и событийные разрезы, скользящие окна, фильтры — всё настраивается через YAML; прозрачность и владение метриками: каждая метрика имеет ответственных аналитиков и команду, что упрощает контроль и управление. После доклада участники поймут, как стандартизировать и управлять метриками для AB-тестов в сложных системах с множеством источников данных. Они увидят, как применять MDL для описания метрик, разрезов и окон, чтобы минимизировать ошибки, ускорить анализ и сделать результаты экспериментов воспроизводимыми. Аналитики смогут системно описывать метрики через единый язык, а не собирать ad-hoc SQL и быстрее интегрировать новые источники данных и новые метрики в существующую инфраструктуру AB-тестов. Продуктовые менеджеры и владельцы экспериментов будут принимать решения на основе стандартизированных и проверяемых метрик, а не разрозненных отчетов. Слушатели получат шаблон структуры YAML-файлов для экспериментов, шаблоны метрик и разрезов и смогут адаптировать их под свои проекты. MDL-концепцию можно напрямую имплементировать в текущие беклоги для управления метриками, ускорения сборки отчетов и повышения точности AB-тестов. Это реально, так как подход основан на конкретных наработках, которые уже используются в продуктивных экспериментах, и не требует фундаментальной перестройки инфраструктуры - в докладе траслируются конкретные и шаблоны (YAML-настройки, схемы метрик и разрезов), которые можно адаптировать под собственные проекты без полной перестройки инфраструктуры. | 17:10 17:40 | ||||||||||||||||||
36 | |||||||||||||||||||||||
37 | 17:45 18:15 | ДМИТРИЙ ЛУНИН, ADVISOR TEAM LEAD АВИТО A/B БЕЗ A/B: ДЕЛАЕМ ЛЮБОЕ ВАШЕ РЕШЕНИЕ ВАЛИДНЫМ! Практически у любого аналитика есть кейсы, когда обычный A/B-тест невозможен и нужно придумать свое решение этой задачи. Аналитики вынуждены изобретать собственные критерии эффективности — и именно здесь чаще всего возникают смещения и ложные эффекты, которые приводят к неверным бизнес-решениям.Проблема заключается в том, что нормально провалидировать такое решение очень сложно. В докладе я расскажу не только про то, как валидировать такие критерии, но и как исправить их так, чтобы они стали работать корректно, практически во всех кейсах. На практических примерах разберём, как уменьшить смещение, повысить мощность и превратить «A/B без A/B» в надёжную основу продуктовых решений. Подробно остановимся на разработке валидного регионального A/B-критерия и на том, как это помогает строить фреймворки для анализа различных медиа-каналов, где нельзя делить аудиторию на тест и контроль. Слушатели познакомятся со строгим, воспроизводимым подходом, который позволяет валидировать пользовательские критерии «A/B без A/B» и исправлять их так, чтобы оценки стали годными для принятия решений, получат чек-лист валидности для «A/B без A/B» и шаблоны, по которым можно для региональных и медийных задач: как уменьшить смещение, повысить мощность и защититься от ложноположительных результатов." | 17:45 18:15 | ||||||||||||||||||||
38 | |||||||||||||||||||||||
41 | |||||||||||||||||||||||
42 | 21 НОЯБРЯ (ПТ) - МОСКВА, КЛАСТЕР ЛОМОНОСОВ | ||||||||||||||||||||||
43 | |||||||||||||||||||||||
44 | 09:00 - 09:45 | ВСТРЕЧА УЧАСТНИКОВ КОНФЕРЕНЦИИ НА ПЛОЩАДКЕ, ЗНАКОМСТВО, ОБЩЕНИЕ И НЕТВОРКИНГ, УЧАСТИЕ В СТЕНДОВЫХ АКТИВНОСТЯХ, WELCOME-КОФЕ и пр | 09:00 - 09:45 | ||||||||||||||||||||
45 | |||||||||||||||||||||||
46 | 9:45 - 10:00 | ОТКРЫТИЕ | |||||||||||||||||||||
47 | |||||||||||||||||||||||
48 | Классический ML | Платформы данных, метрики и операционная зрелость | Продуктовая AI-аналитика | ТРЕК TENGRY DATA | |||||||||||||||||||
49 | |||||||||||||||||||||||
50 | 10:00 10:30 | ВАЛЕРИЯ РЬЯНОВА, РУК-ЛЬ АНАЛИТИКИ ЯНДЕКС ЭКОНОМИКА ВНИМАНИЯ В GO: СКОЛЬКО СТОИТ МЕСТО В ЛЕНТЕ И ЧТО ЭТО ДАЁТ ЭКОСИСТЕМЕ Я хочу рассказать о внедрении рекомендательной ленты в приложение Go. Это важно, потому что Go — суперапп с миллионной аудиторией, которая изначально приходила за заказом такси. Мы столкнулись с уникальными вызовами: необходимость балансировать интересы разных сервисов, тщательно оценивать влияние ленты на экономику экосистемы и корректно сравнивать её эффективность с другими инструментами монетизации. Сегодня за место на главном экране приложения идет большая конкуренция между различными сервисами, поэтому нам необходимо было оценить влияние рекомендательной ленты на экономику экосистемы и понять, каковы ее преимущества и издержки по сравнению с другими рекламными форматами. Я объясню, почему мы верим в Go как в суперапп и какие шаги предпринимаем для развития кросс-сервисности внутри приложения. На примере фида расскажу, почему продукты, ориентированные на рост кросс-сервисных взаимодействий, сложнее оценивать по сравнению с монопродуктами. Также поделюсь метриками оценки качества рекомендательной ленты и расскажу о трейд-оффах между лентой и рекламными форматами в Go. ��Мой доклад поможет слушателям лучше понимать, как внедрять и оценивать кросс-сервисные продукты в больших приложениях, где много конкурирующих сервисов. Я покажу, какие метрики и подходы к тестированию работают для оценки рекомендательных лент и чем наши выводы отличаются от стандартных продуктовых кейсов. После доклада слушатели смогут по-новому выстраивать приоритеты между развитием отдельных сервисов и интересами всей экосистемы. Участники смогут взять наши метрики и подходы к экспериментам в свой бэклог — это пригодится для работы с рекомендательными блоками, персональными предложениями и другими кросс-сервисными продуктами | ВЯЧЕСЛАВ ПОПОВ И НИКИТА ТОКОВ, HEAD OF ANALYTICS СРАВНИ МОДЕЛИ ВРЕМЕННЫХ РЯДОВ - КАК БИЗНЕСУ ПОНЯТЬ, ЧТО БУДЕТ ЗАВТРА Мы покажем, как перевести компанию с хаотического реагирования на падения к управлению продажами по прогнозу: факт vs прогноз на дашборде, алерты с recall >95% и модель, смещённая под стоимость ошибок. Результат — WMAPE <5%, реакция на просадки за ~2 часа, «минус несколько миллионов» потерь в месяц и план/факт в бюджете в пределах 3–5%. Мы перешли от хаотичного реагирования на падения продукта к системному управлению продажами, это позволило снизить тревожность аналитиков и владельцев бизнеса относительно падений и их причин. Модель позволила сократить время на принятие решений и улучшить понимание сезонных колебаний бизнеса. К каким изменениям в продукте это привело и как их зафиксировали? Был создан дашборд, который в реальном времени отображает фактическое значение ключевых метрик (например, продажи, трафик) по сравнению с прогнозом, создана система алертов, которые помогают оповещать о падениях бизнес-метрик. Прогнозная модель стала важным инструментом для формирования ежемесячного и квартального бюджета. Проделанная работа по препроцессингу данных и feature engineering, кастомизация модели (в первой итерации использовали Prothet, далее сделали заказ на собственную модель у нашей команды ML-разработчиков) и фокус на бизнес-задаче, а не на точности модели ( «Недооценка» прогноза была для бизнеса менее критичной, чем «переоценка») позволили добиться результата. Подробно поговорим о том, какие метрики подтвердили успешность и значимость решения: WMAPE (Weighted Mean Absolute Percentage Error) — менее 5%, Recall (полнота) для алертов - более 95%, снижение времени реакции на падение продаж c 4-8 часов до 2 часов, сокращение потерь от падений на несколько миллионов в мес. благодаря более быстрому реагированию на них, повышение конверсии в клик акционных рассылках на 1 ПП, разлет между плановым и фактическим показателем продаж в бюджете сократился до 3-5%. Слушатели получат чек-лист внедрения TS-пайплайна и практики постобработки, которые легко перенести в свои процессы и в будущем смогут применить решения, которые мы описываем, в своей работе благодаря сравнительной простоте внедрения технологии на стадии MVP и понятным результатам, которые легко оценить | КОНСТАНТИН БАБАЛЯН, РУК-ЛЬ СЛУЖБЫ ЯНДЕКС.ТЕХНОЛОГИИ INSIGHTUS - ВАШ ПАРТНЕР AI-АНАЛИТИК. АРХИТЕКТУРА, СЛОЖНОСТИ, ПОТЕНЦИАЛ Доступ к данным упирается в такие барьеры как знание схем и SQL, которые ограничивает не-аналитиков, скорось цикла «гипотеза - SQL - результат - новая гипотеза» и стоимость времени аналитиков, так как они могут тратить до 40–50% времени на рутинy вместо поиска инсайтов. При этом, существующие системы взаимодействия с данными через естественный язык страдают от проблем, связанных с качеством ответов и галлюцинациями. В своем докладе я расскажу о демократизации доступа к корпоративным данным через создание AI-аналитика InsightUs — интеллектуальной системы, которая преобразует естественный язык в аналитические инсайты. Подробно остановимся на архитектуре решения, расскажем как использовали гибридный RAG для извлечения контекста из каталога метрик/документов/репозиториев и построения графов знаний (сущности–метрики–отношения) для валидации выводов. Кроме этого, разберемся с контуром обучения: как происходит сбор проверенных ответов, как оценивать обратную связь пользователей, как проводить дообучение LLM и пр. Слушатели получат работающие рецепты построения архитектуры AI-аналитики вместе с пониманием того, какие проблемы будут перед ними возникать, какие из них решаемые и как именно, а какие - еще пока не решенные и предмет будущих исследований, с учетом чего смогут как получить значимый прирост в производительности компании, так и избегать ловушек и серьезных последствий ошибок при внедрении и использовании подобных AI-систем, а также получат чек-лист и шаблоны валидации и понятные метрики успеха для масштабирования AI-аналитики. | НИКОЛАЙ ГОЛОВ, ДИР-ОР ПО ПРОДУКТУ TENGRI DATA, EX-АВИТО TENGRI DATA PLATFORM - ЕДИНАЯ АНАЛИТИЧЕСКАЯ ПЛАТФОРМА НОВОГО ПОКОЛЕНИЯ Впервые расскажем о новой универсальной аналитической платформе Tengri Data, которая является аналогом Snowflake и Databricks. Отдельно остановимся на основных принципах - минимальное администрирование, Compute&Storage separation, развертывание одним пакетом, высокопроизводительные SQL/Python вычислители. Покажем результаты тестов производительности и roadmap | 10:00 10:30 | |||||||||||||||||
51 | |||||||||||||||||||||||
52 | 10:30 11:00 | ДМИТРИЙ МОСКАЛЕВ, LEAD AI ENGINEER MTC WEB SERVICES РАБОТА С КАТАЛОГОМ ДАННЫХ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ Расскажу почему класс задач Text2SQL стал актуален на примере экосистемы компании, после чего перейду к рассказу про автоматизацию каталога данных (600к+ сущностей) используя AI-агенты, RAG, LLM, ERD и механизмы проверки качества описаний. Представлю архитектуру по извлечению релевантного контекста из базы знаний, а также общую архитектуру описания сущностей (таблицы, колонки) для разных сценариев использования. После этого покажу как это соединяется с ERD, а также архитектуру и как ERD помогает в описании сущностей. Поделюсь, как собирали БЗ, как получилась хорошая точность и время инференса в few-shot/zero-shot сценариях для пустых или недоступных таблиц, либо сущностей, для которых не было релевантного контекста. Как используются явные и неявные связи межу сущностями и в чем улучшения от текущих методов. Подробно остановимся на тестировании и улучшениях работы с БД на естественном языке. Расскажу про процесс тестирования и методы улучшения E2E решения на примере prompt-engineering, генерации фрагментов из собранной БЗ, актуальность выбора open-source моделей эмбеддингов и LLM, баланса в ERD, а также про переход и выбор релевантных сущностей на естественном языке при поиске среди обработанных сущностей. Также посмотрим метрики корректной генерации Text2SQL на бенчмарках и адаптивную визуализацию результатов в зависимости от сгенерированного SQL запроса. В заключение покажу важные этапы автоматизации описания, разметки, работы с каталогом данных и рекомендации компаниям, DBA и аналитикам, которые используют AI для улучшения понимания продуктов и получению инсайтов по данным. Слушатели смогут понять важные этапы автоматизации описания, разметки, работы с каталогом данных, а также использования AI для улучшения понимания продуктов и получения инсайтов по данным | МАРИЯ МЕРКУЛОВА, АНАЛИТИК ЯНДЕКС ПРАКТИКУМ ЛЕГАСИ СКВОЗНОЙ АНАЛИТИКИ НЕ С НУЛЯ, А С РУИН Этот доклад о том, как мы пересобирали огромную легаси-машину по сбору сквозной аналитики. На старте было более 30 дашбордов, 5 моделей атрибуции, сотни пользователей, выгружающих дашборды в Excel, регулярные запросы на доработки и починку багов, а также никаких правил разметки данных, 100К+ строк кода, который написали аналитики 3 поколения назад. В итоге нам удалось унифицировать правила разметки данных, создать новую гибкую архитектуру и как следствие - легко интерпритируемые данные, которые не нужно пересобирать в Excel. Особое внимание уделим таким вопросам, как убеждение заказчика в том, что легаси пора переписывать и как договориться о результате, если все привыкли к табличкам, выгружаемым в Excel для построения графиков; что делать, когда у вас нет ни ресурса DWH, ни разработки на задачи разработки сквозной аналитики; как без негативных последствий удалить витрину, на которую так или иначе завязана почти вся отчетность компании? Этим рассказом хочется вдохновить людей не сдаваться, когда вокруг гора легаси и ежедневные пожары. На пути нам помогли следующие вещи: выход за рамки привычного флоу "сделать новую доработку, которую кто-то попросил" и определить реальную проблему заказчика, активная работа вместе с бизнесом, где они заинтересованы в изменениях процессов также как мы и активно помогают нам эти изменения внедрять, критический пересмотр архитектуры данных для сквозной аналитики (и это с учетом отсутствия ресурса DWH команды), клиенто-ориентированный подход внедрения изменений: мы удалили гору отчетности, но все заказчики остались счастливы Слушатели смогут переиспользовать базовые подходы: будет показана архитектура нашей сквозной аналитики, которая довольно универсальна, чек-лист по организации работы над большим проектом с более чем сотней заказчиков | ИВАН КОРНЕВ, LEAD ANALYST ТЕХНОПАРК AI В BI. КАК НЕЙРОСЕТИ МОГУТ ДЕЛАТЬ AD HOC ЗА АНАЛИТИКОВ Расскажу о создании AI-инструмента позволяющего строить визуализации по запросу на естественном языке. Если коротко, то это бот, который по запросу "покажи мне динамику продаж за последний месяц" строит соответствующий график. Целью разработки данного инструмента была оптимизация работы с ad hoc запросами. Разработанный инструмент позволил с одной стороны сократить время команды аналитики выделяемое на ad hoc (примерно на 60% сократился ресурс команды аналитики выделяемый на подобные задачи), а с другой ускорил получение результата заказчиками и количество отработанных запросов бизнеса (SLA сократилось с нескольких часов до нескольких минут) Добиться результатов помогло, создание специализированной архитектуры LLM в подходящей области. Расскажу о том, как была создана архитектура модели: системные инструкции, цепочки мышления, мультиагентное взаимодействие, function calling, RAG. О том, как была создана оболочка для применения модели пользователями - процессы подходящие для использования AI. Также поговорим про обучение модели для написания кода для построения визуализаций, оценку эффективности решения. Как инструмент позволяет снизить стоимость ad hoc, при увеличении объёмов их выполнения Слушатели смогут имплементировать этот опыт, получат гайд как сделать MVP и ввнедрить похожий инструмент у себя за короткий срок и практически без затрат | 10:30 11:00 | ||||||||||||||||||
53 | |||||||||||||||||||||||
54 | 11:05 11:35 | АЛЕКСАНДР ЕЛИЗАРОВ, АНАЛИТИК-РАЗРАБОТЧИК ЯНДЕКС УНИВЕРСАЛЬНЫЙ ПАЙПЛАЙН ПРОГНОЗОВ ВРЕМЕННЫХ РЯДОВ: ГИБКОСТЬ, ТОЧНОСТЬ, ВИЗУАЛИЗАЦИЯ Когда в продукте сотни метрик, разные иерархии, то ноутбуки и «разовые» скрипты не масштабируются: трудно поддерживать стандарты качества данных, воспроизводимость, бэктесты и сравнение моделей; визуализации разрознены, а постобработка не стыкуется с бизнес-правилами. Нужен конфигурируемый и повторяемый ML-пайплайн, который можно быстро адаптировать под любую метрику без переписывания кода. В докладе речь пойдет о создании универсального и гибкого прогнозного ML-пайплайна для временных рядов метрик — от архитектурных требований до практических реализаций: иерархия данных, прогноз абсолютных и относительных значений, обнаружение проблем, их решение, этапы работы. Подробно остановимся на автоматизации и масштабируемости: отход от ноутбуков и скриптов к конфигурируемому пайплайну, гибкость и конфигурируемость - минимальное знание кода, но с возможностью тонкой настройки, меняя модель и гиперпараметры через конфиг. Поговорим про качество данных и предсказаний - автоматическую и ручную очистку, постобработку для приведения результатов к бизнес-логике, визуализацию ошибок. Слушатели смогут перенять опыт построения гибкого пайплайна прогноза, усовершенствуют свои архитектурные решения, ускорят работу с помощью автоматизации алгоритмов и повысят точность прогнозов за счет наших best practices Реальные промышленные временные ряды от Яндекса (поисковая доля, DAU) являются ценным бенчмарком для задачи прогноза рядов,у нас есть подтверждённое успешное применение нашего внутреннего продукта, преодоление ограничений open‑source‑решений, ускорение работы разработчика. | МИХАИЛ СТРОГАНОВ, ПРОДУКТОВЫЙ АНАЛИТИК MAGNIT OMNI КТО НА САМОМ ДЕЛЕ ВЛИЯЕТ НА МЕТРИКУ: МЕТОДИКА РАЗЛОЖЕНИЯ ДЕЛЬТЫ ПО СЕГМЕНТАМ Когда ключевая метрика растёт или падает, первый вопрос аналитика или менеджера — «в каких сегментах аудитории произошли изменения?». Ответить на него корректно не так просто: привычные подходы часто дают искажённую картину, а методы оценки приоритета сегментов (RICE, ICE, PIES) опираются на субъективные суждения. В итоге команды принимают решения на основе гипотез, а не точных данных. В докладе я расскажу о методике, которая позволяет разложить общее изменение метрики на точный вклад отдельных сегментов. Формула учитывает не только изменение метрики внутри группы, но и её размер, что делает результат аддитивным и легко интерпретируемым. Подробно разберем реализацию Root Cause Analysis в Python, проведем оценку влияния сегментов аудитории на общую метрику, научимся аддитивному разложению дельты метрики по сегментам аудитории. Слушатели смогут избежать искаженных выводов при анализе изменений и смогут использовать методику в продуктовой, маркетинговой и операционной аналитике для более точного понимания клиентов | ПАВЕЛ ГНЕДИН, РУК-ЛЬ НАПРАВЛЕНИЯ АНАЛИТИЧЕСКОЙ ПЛАТФОРМЫ ЦИАН БУДУЩЕЕ АНАЛИТИКИ: SELF-SERVICE АССИСТЕНТ НА БАЗЕ AI Уже сейчас AI-ассистенты позволяют компаниям работать быстрее и сохранять фокус на главном, позволяя аналитикам и бизнесу выйти на новый уровень эффективности, снизить рутину и сосредоточиться на стратегических задачах. Мы предлагаем погрузиться в эволюцию аналитики — от классических инструментов до появления интеллектуальных AI-ассистентов, которые меняют правила игры. Обсудим как меняются задачи аналитиков, что такое Self-Service ассистенты и почему они становятся неотъемлемой частью рабочих процессов. Мы поделимся реальным опытом внедрения аналитического AI-ассистента в Циан от идеи до первых результатов. Расскажем, с какими неожиданными открытиями и трудностями мы столкнулись, какие решения находим и как улучшаем качество и точность сервиса: почему Self-Service AI-ассистенты — это не фантастика, а реальный мощный инструмент для бизнеса, который используют лидеры рынка, какие возможности открывают современные AI-технологии для аналитики, с какими вызовами сталкиваются компании при внедрении AI-ассистентов и как их преодолеть на практике; почему успех невозможен без ориентации на бизнес-потребности; как мы это делаем у себя, какие успехи уже достигнуты и наши планы на ближайшее будущее. На данный момент мы закрываем с помощью нашего ассистента уже более 40 процентов операционки команды аналитической платформы и масштабируем сервис, покрывая все больше доменов бизнеса и команд, которым активно помогает наш помощник. Это не просто рассказ о технологиях, а практическое руководство по тому, как сделать аналитику по-настоящему эффективной и ценной для бизнеса с помощью технологий. Мы верим (на самом деле уверены), что наше выступление мотивирует слушателей задуматься, а точнее запланировать, внедрение подобных помощников в контур своих компаний и в свою работу, инициировать проекты по доступности и эффективности аналитики и данных. Понять, как это можно сделать, какими путями пойти, с какими подводными камнями ребята при этом могут столкнуться и как их обойти, как минимизировать стоимость внедрения подобных технологий и при этом максимизировать эффект и влияние на бизнес | АЛЕКСАНДР ФИЛАТОВ, ГЛАВА РАЗРАБОТКИ TENGRI DATA. ЭВОЛЮЦИЯ АНАЛИТИЧЕСКИХ ПЛАТФОРМ В ХХI ВЕКЕ Александр расскажет, как аналитические СУБД прошли путь от массивно параллельных решений к современным безсерверным решениям. Поговорим про колоночные MPP решения - Vertica, Greenplum, Clickhouse, детально разберем их плюсы и минусы, а также обсудим Open Lake House - Iceberg, S3, Trino - с точки зрения их достоинств и ограничений. Эксперт уделит большое количество внимания роли современного железа, бессерверной аналитике и headless аналитике | 11:05 11:35 | |||||||||||||||||
55 | |||||||||||||||||||||||
56 | 11:40 12:10 | АНАСТАСИЯ ЛУБИНЕЦ, ЛИДЕР СТРИМА ПРОДУКТОВОЙ АНАЛИТИКИ СБЕРЗДОРОВЬЕ HARD MODE: КАК АНАЛИТИКУ МАСШТАБИРОВАТЬСЯ НА 100+ СТЕЙКХОЛДЕРОВ Ценность доклада в передаче опыта оптимизации процессов и нестандартных инструментов для наведения порядка в возникающем хаосе. Это руководство по масштабированию для дата- или продуктовых аналитиков, живущих в больших командах стремительно развивающихся продуктов со всеми сложностями быстро внедряемых изменений (формат один аналитик на армию стейкхолдеров). В своем докладе я даю инструкцию, как поддерживать эффективность работы в режиме «100 вопросов в секунду» и оставаться аналитиком, который приносит бизнесу пользу, не скатываясь в сервисную роль (самое страшное проклятие аналитика - превратиться в обслуживающую вопросы единицу). Поговорим про планирование и дискавери — покажу, с чего мы начинали и как выстроили эффективно работающие процессы. Уделим внимание проблематике разметки событий. Сейчас ее поддерживают продуктовые команды, а генерация автоматизирована через самописную библиотеку с YAML-файлами. Аналитик больше не тратит ресурсы на контроль и проверку работоспособности событий. Есть уверенность в данных -- события больше не ломаются от каждой мелкой правки. Мониторинг и алертинг: раньше модели падали от неожиданных (для аналитика) изменений в базах данных, а с обновленным пайплайном разработки аналитик узнает об обновлениях заранее и готовит фиксы без режима пожара. При этом, инженеры видят алерты и сами перезапускают источники до запуска моделей. Сделали селф-сервис для продактов - частые повторяющиеся вопросы больше не отвлекают: продакты сами выгружают данные из Superset через готовые таблицы. Слушатели смогут применить подходы из доклада к своей работе, так как доклад представляет собой подробное руководство пользователя для аналитика развивающегося продукта. Выступление познакомит с эффективными способами оптимизации процессов и наглядно покажет, как поддерживать эффективность работы | ТАЙМУРАЗ ТИБИЛОВ, РУК-ЛЬ ML-АНАЛИТИКИ B2B YANDEX GPT ЧТО ТАКОЕ ML-АНАЛИТИКА ИЛИ КАК ИЗМЕРИТЬ КАЧЕСТВО LLM-ПРОДУКТОВ LLM-продукты нестабильны: промпты дрейфуют, ответы стохастичны, бенчмарки с лексическими метриками могут не коррелировать с реальной полезностью. Для B2B-продуктов это критично - нужны воспроизводимые оценки качества, прозрачные метрики для аудита, и чёткие границы рисков (галлюцинации, утечки данных и пр.) Мы развиваем аналитику в направлении B2B-продуктов GPT и в рамках доклада я поделюсь кейсами, которые решала моя команда - иерархия метрик в нейросаппорте, инструменты оценки качества в нейро-юристе. Подробно поговорим о том, что такое LLM-as-a-Judge и как эта технология может помочь сэкономить время и деньги. Отдельно рассмотрим тему о том, кто такие ML-аналитики и почему это направление в тренде, а также как устроены метрики в B2B-продуктах GPT? Этот доклад точно будет интересен middle/senior аналитикам данных и ml-разработчикам, а также продакт менеджерам, которые работают с ml-продуктами, в особенности на b2b-рынке Я хочу поделиться нашей конфигурацией инструментов оценки качества сложных LLM пайплайнов: я подниму проблемы, с которыми столкнулись и какое решение для них нашли. Это может быть полезно коллегам, которые так же создают LLM-модели для решения сложных бизнес задач | НИКОЛАЙ ГОЛОВ, ДИРЕКТОР ПО ПРОДУКТУ TENGRI DATA, EX-АВИТО А ЧТО ЕСЛИ, МЫ ПОСТРОИМ АНАЛИТИКУ С НУЛЯ БЕЗ ОГРАНИЧЕНИЙ… ДЛЯ АНАЛИТИКА? В рамках доклада речь пойдет о том, как может выглядеть работа аналитика в 2026 году без технологических ограничений платформы. Вместе с аудиторией разберем следующие вопросы: что сейчас бизнес ждет от аналитика и чем аналитики хотят заниматься и чем реально занимаются большую часть времени. Разберем как разгрузить аналитика от непрофильной нагрузки и порассуждаем о том, как могла бы выглядеть работа аналитики в идеальном мире и каковы риски и возможности self-service аналитики | 11:40 12:10 | ||||||||||||||||||
57 | |||||||||||||||||||||||
58 | 12:15 12:45 | ИВАН КОРСАКОВ, АНАЛИТИК ДАННЫХ ЛЕМАНА ПРО ОТ ХАОСА К ПОРЯДКУ: ЕДИНОЕ РАБОЧЕЕ ОКРУЖЕНИЕ И ВОСПРОИЗВОДИМЫЕ РЕЗУЛЬТАТЫ ДЛЯ АНАЛИТИКОВ Покажем, как монорепозиторий с Poetry и Vault, общими коннекторами и шаблонами ноутбуков превращает разрозненную аналитику в управляемый процесс. Раньше в команде каждый аналитик настраивал окружение и подключался к сервисам и БД как умел. Это замедляло онбординг и разработку, усложняло ревью ноутбуков, создавало риски безопасности (секреты могли случайно оказаться прямо в коде), а воспроизводимость результатов была очень низкой — другому аналитику требовалось много времени, чтобы повторить расчёты. Мы разработали единый репозиторий для аналитиков - зависимости управляются через Poetry, секреты через Vault, а функции для работы с базами данных и сервисами вынесены в отдельный модуль. Теперь ноутбуки можно воспроизвести без дополнительных манипуляций, настройка окружения с нуля занимает от 5 минут до часа (в зависимости от ОС и версии глобально установленного Python), а команда работает быстрее и безопаснее. Подробно расскажу о реализации единого репозитория: структура, README с инструкциями по настройке окружения, разработке, naming conventions и пр., управление зависимостями через venv + Poetry, работа с секретами через Vault, готовые функции для подключения к БД и API. Расскажу с какими подводными камнями столкнулись - необходимы ресурсы для настройки и обкатки проекта на разных ОС и версиях Python, а также его поддержки и об итоговых результатах - упрощение настройки окружения, разработки и ревью, воспроизводимость результатов, повышение безопасности. Этот доклад будет интересен и полезен аналитикам уровня middle и senior, а также тимлидам в компаниях среднего и крупного размера, где процессы аналитической разработки ещё не стандартизированы. В таких компаниях есть достаточно артефактов работы аналитиков, чтобы внедрение единого репозитория и стандартизированного окружения дало ощутимый эффект. В небольших командах ценность решения может быть ниже, так как объём работы меньше и затраты на внедрение могут не окупиться. Во время доклада я покажу живой пример хаотичного ноутбука и пошаговую трансформацию в воспроизводимое, стандартизированное решение с помощью инструментов, описанных мной выше в заявке. После доклада слушатели смогут применить эти практики в своих командах, используя те же инструменты или другие, более удобные лично им, поскольку ключевая ценность заключается не в конкретных технологиях, а в самом подходе | НИКИТА АЛЕКСЕЙЧУК и НИКИТА МАСТЮГИН, CDO И АНАЛИТИК YANDEX CLOUD КАК НЕЙРОСЕТИ РЕЖУТ СЕГМЕНТЫ ЛУЧШЕ КУХОННОГО НОЖА Команда аналитики Yandex Cloud автоматизировала рутинную сегментацию данных и ускорила time-to-market для бизнеса — в первую очередь, для маркетинга, продукта и других команд. Раньше на каждый запрос уходил день работы аналитика, плюс очередь в спринтах (до 7 дней ожидания). Теперь бизнес получает ответы в течение нескольких минут с минимальным вовлечением людей. Для этого мы внедрили систему AI-агентов, которая переводит бизнес-запросы в SQL, автоматически проверяет код на ошибки, делает self-review перед выдачей результата, а также интегрировали RAG — обучение модели не на документации, а на реальных успешных решениях в исторических тикетах и тем самым увеличили контекст и точность с помощью перехода на LLM Qwen3. Подтвердили на метриках то, что раньше занимало день работы и неделю в беклоге стало занимать 5-10 минут, автоматизировали около 60% рутинных задач, снизили нагрузку на аналитиков. В докладе рассказываем, как внедрить AI-агентов в бизнес-процессы и получить качественный результат. Мы расскажем кейс интеграции LLM (YandexGPT/Qwen) и RAG в аналитику крупного бизнеса. Поделимся фреймворком для автоматизации рутины: как с помощью LangGraph создать гибкую систему AI-агентов, которая понимает бизнес-контекст, самостоятельно исправляет ошибки в SQL, делает код-ревью без участия человека. Поговорим о том, как избежать «AI-халтуры»: контроль качества: golden set + авто-валидация, почему бизнес-подсказки важнее технических спецификаций Покажем практические кейсы, расскажем как мы конструировали решение и с какими сложностями мы столкнулись, а также как мы их решали. Это большой how-to доклад. Слушатели доклада смогут имплементировать наше решение к себе, чтобы ускорить time-to-value для бизнеса и снять часть операционки с аналитиков | 12:15 12:45 | |||||||||||||||||||
59 | |||||||||||||||||||||||
60 | 12:50 13:20 | ПЕТР ДЕВИЦИН и АЛЕКСЕЙ ВОРОНКО, SENIOR DATA ANALYST ВК АНСАМБЛЬ ПРОТИВ ХАОСА: КАК МЫ ИЩЕМ И ОБЪЯСНЯЕМ АНОМАЛИИ В МЕТРИКАХ VK РЕКЛАМЫ Нам удалось реализовать высокую чувствительность при минимизации ложных срабатываний: за счет комбинации статистических и ML-методов, расчет прогнозного значения и сравнение с фактом, которое позволяет оценить масштаб проблемы, автоматическое объяснение вклада сегментов в общую аномалию за счет расчета импактного анализа, интегрировать в BI и рабочие процессы чат-ботов с алеутами и дашборды с аномалиями. Инструмент построен и работает на больших данных VK Рекламы (миллиарды событий в день). При этом подход универсален: он одинаково хорошо масштабируется как на большие системы, так и на продукты с меньшим объемом данных В итоге, время реакции на аномалии сократилось: если раньше на поиск и проверку уходили дни, то теперь первые выводы можно получить за минуты, снизилась доля ручных проверок: меньше времени тратим на мониторинг и ad hoc запросы, были оптимизированы драйверы выручки: своевременное выявление проблем помогло нам быстрее настраивать кампании, увеличилось количество команд, использующих систему алертинга и возросло число алертов, за которыми последовали действия. Часть доклада будет посвящена техническим аспектам - сравнению методов детекции: CI, Z-score, STL и Isolation Forest - плюсы, минусы, поведение на сезонных и нестабильных рядах. Расскажем, как мы используем прогнозирование: модель ожидаемых значений помогает понять, насколько факт выбивается, и насколько большой масштаб проблемы. Поговорим об объяснении причин отклонений - как пайплайн автоматически рассчитывает вклад сегментов и о том, как все реализовано - оркестрация и автоматизация - ETL-цепочка (ClickHouse, витрины и визуализация), а результаты сразу попадают в Superset и бота. Практики универсальны - их можно адаптировать в других компаниях и индустриях: от e-commerce до финтеха и телекома. Наш подход к детекции аномалий — это полноценная система, позволяющая контролировать данные и принимать обоснованные решения. Участники получат шаблон архитектуры и чек-лист, как превратить мониторинг в инструмент принятия решений, чек-лист снижения ложных срабатываний и типовой таксономии алертов и идеи как апгрейдить свой существующий мониторинг. | АЛЕКСЕЙ БОГДАНОВ, HEAD OF DOCUMENTATION TENGRI DATA PLATFORM, EX-ABBYY МАСТЕР-КЛАСС. АНАЛИТИК В ПОИСКАХ ИНСАЙТОВ - ПРИКЛЮЧЕНИЕ НА ПОЛЧАСА, ВОШЛИ И ВЫШЛИ. ИЛЛЮСТРАЦИЯ ПОЛНОГО ЦИКЛА РАБОТЫ АНАЛИТИКА В TENGRI Эксперт проиллюстрирует решение аналитических задач на Tengri Data, с возможностью интерактивно подключиться и поучаствовать в поиске инсайтов. Слушатели разберутся с процессами поиска и загрузки данных, трансформацией и очисткой данных. Построят визуализации, а также научится строить модели, фиксировать инсайты и управлять расписанием аналитический операций | 12:50 13:20 | |||||||||||||||||||
61 | |||||||||||||||||||||||
62 | 13:25 13:55 | Т | СВЕТЛАНА ГОРДЕЕВА, ДИРЕКТОР ПО РИСКАМ И БОЛЬШИМ ДАННЫМ А ДЕНЬГИ ФОРМИРОВАНИЕ DATA-ОФИСА С НУЛЯ: СТРАХ И ДАННЫЕ В СТАРТАПЕ Наш опыт - это практическое руководство по выживанию и масштабированию в условиях ограниченных ресурсов и экстремальных ожиданий. В докладе речь пойдет не о том, какой инструмент мы выбрали, а о том, как мы договаривались с бизнес-единицами, чтобы именно их потребности определяли наш технологический стек. Финансовые организации — это один из самых требовательных к данным секторов, здесь данные напрямую конвертируются в деньги (скоринг, фрод, взыскание и пр) и деятельность жестко регулируются. Опыт, полученный в таких условиях, на порядок более ценный и проверенный давлением. Слушатели получат практический план действий и, что важнее, "анти-план" — список граблей, на которые не нужно наступать. Они увидят, что хаос — это естественный этап, и поймут, как из него выбраться. Доклад поможет аудитории сменить фокус с инструментов на процессы, слушатели перестанут начинать с выбора идеального стека технологий и начнут с аудита потребностей бизнеса и выстраивания методологии, смогут аргументированно обосновать ценность данных для бизнеса: они научатся переводить боль бизнес-пользователей ("у нас нет данных", "данные не сходятся") в конкретные измеримые гипотезы о том, как data-офис может увеличить выручку или снизить затраты. Мы подробно остановимся на том, как выстраивать диалог с бизнес-контрагентами на языке приоритетов и ценности, а не на языке "срочных запросов". Слушатели получат конкретные идеи для своего бэклога: как провести инвентаризацию дашбордов и запросов, как внедрить систему приоритизации (например, RICE или ICE для data-проектов), как создать первый вариант Data Catalog и да. Компании смогут имплементировать часть наработок, так как доклад построен на решении конкретных, универсальных проблем, с которыми сталкивается любая растущая компания. Слушатели получат чек-лист запуска дата-офиса (intake, приоритизация, SLA, data contracts), шаблон Data Catalog и словаря метрик, примеры описания процедуры инвентаризации дашбордов/запросов и алгоритм борьбы с «горящими» ad-hoc | НИКИТА ОРЛОВ, HEAD OF SQL TENGRI DATA PLATFORM, EX-ЯНДЕКС РАБОТА С ДАННЫМИ В ПАРТНЕРСТВЕ С AI - МАСТЕР-КЛАСС На мастер-классе покажем в деле AI-агентов, помогающих аналитику работать с данными внутри Tengri Data Platform. Сначала поговорим о специфике AI-агентов - они, все-таки, надежные партнеры, но не замена реального аналитика. После этого посмотрим на Tengri Data как на как пространство коллаборации живых и электронных аналитиков и познакомимся с Савелием - AI коллегой, умеющим в SQL, и Монти - AI-коллегой, умеющем в визуализацию данных. | 13:25 13:55 | ||||||||||||||||||
63 | |||||||||||||||||||||||
64 | 14:00 15:00 | ПЕРЕРЫВ | 14:00 15:00 | ||||||||||||||||||||
65 | |||||||||||||||||||||||
66 | Маркетинговая AI-аналитика | HR и карьерный трек | |||||||||||||||||||||
67 | |||||||||||||||||||||||
68 | 15:00 15:30 | НИКОЛАЙ ПЕРЕ, ДИЗАЙНЕР, ОСНОВАТЕЛЬ BONNIE & SLIDE КАК УПАКОВЫВАТЬ ЦИФРЫ | НИКИТА ЛИСИЦЫН, ГЕНЕРАЛЬНЫЙ ДИР-Р CYBER BRAIN AI В АНАЛИТИКЕ БОЛЬШИХ КАМПАНИЙ: ПРИМЕНЕНИЕ И ПРЕДЕЛ ВОЗМОЖНОСТЕЙ В 2025 ГОДУ Маркетинговым командам на стороне клиента и в агентствах не хватает времени и сил на постоянную аналитику, оценку кампаний в связи с высокой операционной нагрузки. Множество аналитических инструментов пылятся в этой связи. Современные возможности AI позволяют перевести пассивную аналитику в активный инструмент, который сам вовремя напомнит о проблеме, даст базовые гипотезы и вовлечет команду в анализ нужных разделов, кампаний, метрик. Мы хотим рассказать, как внедрение GPT моделей в аналитику позволяет снизить когнитивную нагрузку на команды. Командам, чьи навыки в аналитике низкие дать четкие сигналы, что и где смотреть и даже подобрать гипотезы происходящего. Все это мы внедряем себе в продукт и в маркетинг крупнейших рекламодателей в РФ. Слушатели получат понимание, как и где можно применить GPT для анализа и интерпретация данных. Но самое важно, где проходит граница ошибок, «розовых очков» относительно AI на конец 2025 года. Ключевой аспект - это объем кампаний этих клиентов. Нет ничего сложного положить табличку на 2000 строк в GPT и получить ответ. Совсем иной технический масштаб сложности - это заставить модели работать, когда ежемесячно добавляется по 100 млн строк записей в базе. | ЕКАТЕРИНА КОЛПАКОВА, HEAD OF DWH, EMEX, ДВУХКРАТНАЯ ЧЕМПИОНКА РОССИИ ПО МОТОГОНКАМ В КЛАССЕ SSP300 RACING INTELLIGENCE - КАК АНАЛИЗ ДАННЫХ В МОТОГОНКАХ ПОМОГАЕТ ПОБЕЖДАТЬ Расскажу о гонках, гоночной телеметрии - системе сбора данных с мотоцикла и ее последующем анализе | 15:00 15:30 | ||||||||||||||||||
69 | |||||||||||||||||||||||
70 | 15:35 16:05 | ПАВЕЛ ТАРАСОВ, CEO AI2FLOW АВТОМАТИЗАЦИЯ МАРКЕТИНГА С ПОМОЩЬЮ AI-АГЕНТОВ — БЫСТРО И БЕЗ ОПЫТА Суть кейса — автоматизация бизнес- и маркетинговых задач с использованием AI-агентов и n8n. В ходе доклада дам максимально простой инструмент бизнес- и маркетинговой автоматизации с использованием AI-агентов за счёт внедрения автоматической развёрстки векторной базы данных, готовых интеграций с облаком без кода, автоматического доступа к популярным ИИ-моделям (GPT, Claude, Llama и др.). Приведу большое количество примеров решаемых задач и кейсов автоматизации. Слушатели смогут упростить старт в автоматизации бизнес- и маркетинговых задач без технических навыков. Я покажу доступность AI-автоматизации для людей без технических навыков в решении маркетинговых рутинных задач. Слушатели получат точное понимание, как решать повседневные маркетинговые задачи с помощью AI-агентов. Павел - кандидат математических наук, ex-ML-директор «Циан», CTO Anabar, преподаватель высшей математики в двух государственных технических ВУЗах, имеет более чем 15 летний опыт работы с ML /AI и десятки реализованных проектов с внедрением AI и машинного обучения. | 15:35 16:05 | ||||||||||||||||||||
71 | |||||||||||||||||||||||
72 | 16:10 16:40 | ВАСИЛИЙ БРОНСКИЙ, ЯНДЕКС ИСПОЛЬЗОВАНИЕ LLM/ML ДЛЯ ГЕНЕРАЦИИ И ПЕРСОНАЛИЗАЦИИ КОММУНИКАЦИЙ В CRM В докладе расскажем о внедрении генеративной модели, способной создавать персонализированные push- и SMS-уведомления с учетом контекста и знаний о продукте. Дополнительно разработали еще одну модель, обучили ее на истории коммуникаций и данных о целевых действиях так, что она подбирает оптимальный текст для каждого сегмента. В итоге — коммуникации эффективнее, а подготовка материалов быстрее и проще | 16:10 16:40 | ||||||||||||||||||||
73 | |||||||||||||||||||||||
74 | 16:45 17:15 | 16:45 17:15 | |||||||||||||||||||||
75 | |||||||||||||||||||||||
76 | 17:20 18:00 | 17:20 18:00 | |||||||||||||||||||||
77 | |||||||||||||||||||||||
78 | 18:00 18:45 | 18:00 18:45 | |||||||||||||||||||||
79 | |||||||||||||||||||||||
80 | 18:45 19:00 | ЗАКРЫТИЕ | 18:45 19:00 | ||||||||||||||||||||
81 | |||||||||||||||||||||||
82 | 18:30 23:30 | ВЕЧЕРИНКА | 18:30 23:30 | ||||||||||||||||||||
83 | |||||||||||||||||||||||
84 | ОНЛАЙН-ТРЕК В НАЧАЛЕ НОЯБРЯ | ||||||||||||||||||||||
85 | |||||||||||||||||||||||
86 | |||||||||||||||||||||||
87 | |||||||||||||||||||||||
88 | 12:00 12:30 | JEAN-NOËL RIVASSEAU, CTO KAMELEOON ОТ ПРОМПТА К ЭКСПЕРИМЕНТУ ЗА НЕСКОЛЬКО МИНУТ: КАК PBX МЕНЯЕТ ПРАВИЛА ИГРЫ В A/B-ТЕСТАХ Речь пойдет о PBX - Prompt Based Experiments. Это новый беспрецедентный тип создания фронтовых экспериментов. Расскажу о создании фронтенд-эксперимента на сайте через текстовый запрос к нейросети, после чего, нейросеть за 1-2 минуты создает визуальное изменение сайта и предоставляет код для него. Благодаря этому снижается зависимость продуктовых и маркетинговых команд от разработки, ускоряет запуск экспериментов и позволяет делать быстрые изменения на сайте. Подробно остановимся на том, как и почему работает технология. Слушатели узнают о подходе, в котором часть A/B-тестов больше не завязана на долгие разработки и бэклог IT-команд, а могут запускаться силами продукта/маркетинга через промпт, познакомятся с новым форматом экспериментов (PBX), который совмещает скорость no-code инструментов и гибкость классического A/B-тестирования, узнают, как PBX позволяет снижать стоимость теста и сокращать time-to-market гипотез, смогут закладывать больше гипотез в тестирование, так как барьер входа (деньги/ресурсы/ожидание разработчиков) снижается | АЛЕКСАНДР ИГНАТЕНКО, DATA-DRIVEN-ЕВАНГЕЛИСТ ADD2CART НЕМНОГО ОБ ИЛЛЮЗИИ КОНТРОЛЯ. GTM SERVER-SIDE — MUST-HAVE ИЛИ ПЛАЦЕБО? Расскажу о том, как изменилось понимание использования GTM server-side в аналитике и маркетинге. Хочется развеять определенные мифы и рассказать, действительно ли он помогает в работе со с ad-блокерами, как он делает данные чище и способен ли вас разорить. Я расскажу о том, что действительно работает, что не работает, где мифы, что обходится дорого, а что можно сделать бесплатно. Раньше я уже поднимал похожую тему, но хочу её расширить — прошло, как мне кажется, уже около трёх лет. Текущая ситуация, насколько это сейчас актуально, ключевые рабочие кейсы. Подробно расскажу о заблуждения о GTM server-side и остановлюсь на технических подробностях работы с cookie-файлами, средствами памяти в браузере, логикой атрибуции и других тонкостях. Доклад будет полезен маркетинг-аналитикам, CMO, маркетологам и дата-инженерам | ГЛЕБ БУРОВ, CTO ADTECH МАГНИТ OMNI RETAIL MEDIA ОТ 0 К 1: КАК СОЗДАТЬ ИНКРЕМЕНТАЛЬНУЮ ВЫРУЧКУ ПРИ ПОМОЩИ РЕКЛАМНОЙ ПЛАТФОРМЫ Расскажу по шагам как, опираясь на метрики, построить рекламную платформу, которая приносит новую инкрементальную выручку. Начну доклад с определения Retail media и их значения, как новой ветви персонализации. Далее научимся видеть инвентарь: Inventory Canvas - полная карта инвентаря (площадки, форматы, позиции, частоты), его доступность и конкуренция за показы; научимся оценивать емкость. Слушатели узнают, что такое Yield-модель, где iRPM (incremental Revenue Per Mille) является функцией формата, частоты, конкуренции. После этого, подробно разберем систему управления инвентарем Guardrails и правила показа - частотные и контентные правила, приоритеты и ценообразование и то, как реализованы защита от кликбейта и каннибализации. Слушатели получат чек-лист по метрикам и протоколам для iRPM-измерений и проверки инкрементальности, шаблон Inventory Canvas и познакомятся с подходами к управлению инвентарем, чтобы не жечь аудиторию и маржу. Глеб имеет 15 летний опыт в создании рекламных платформ, успешный экзит (Nativeroll → VK), работал CTO платформы персонализации Gravity Field и retail media платформы Gravity Ads и CTO AdTech одного из крупнейших ритейлеров в РФ | ДАРЬЯ ПУРТОВА и ЕЛИЗАВЕТА СЕРГЕЕВА, DATA ANALYST MTC WEB SERVICES ЦЕННОСТЬ РЕКОМЕНДАЦИЙ В ЭКОСИСТЕМЕ МТС: КАК МЫ ЕЁ ИЗМЕРЯЕМ И МАСШТАБИРУЕМ Делимся свежим кейсом построения рекомендаций с нуля в одном из продуктов экосистемы (DAU - 4 млн) + создания аналитики и прокидывания сквозных рекомендаций внутрь. Поговорим о платформенном подходе (унифицированные подходы к внедрению рекомендаций, работе с данными, аналитики + шеринг ресурсов внутри платформы), особенностях рекомендаций в экосистеме — сквозной контекст: единый профиль и сигналы из разных приложений, отличии подходов к аналитике экосистемных продуктов vs обычные продукты, роли платформенного подхода в обеспечении качества, ускорении работы, экономии ресурсов команды. Покажем на реальных примерах Слушатели смогут забрать что-то из этого себе, особенно если у них нет большой команды, а есть необходимость работы с рекомендациями и связанными продуктами.Бюджет нашей команды в разы меньше, чем у аналогичных команд Яндекса и Сбера, при этом мы создаем современные и качественные рекомендации и продвигаем нашу экосистему. За счет этих финансовых и кадровых ограничений при одновременной высокой планке качества, мы используем решения, которые могут быть релевантны широкому кругу людей, которые работают в компаниях разного размера и в этом наша ценность. | ||||||||||||||||||
89 | |||||||||||||||||||||||
90 | 12:35 13:05 | ДАРЬЯ РЕМИЗОВСКАЯ, АНАЛИТИК-РАЗРАБОТЧИК WILDBERRIES A/B-ТЕСТЫ БЕЗ СЛЕПЫХ ЗОН: КАК АЛЕРТЫ СТАНОВЯТСЯ ВАШИМ ЗРЕНИЕМ В МИРЕ МЕТРИК Мы покажем, как слой наблюдаемости поверх A/B автоматически ловит пересечения и последовательные интерференции, SRM и DQ-сбои и аномалии распределений (включая GMV). Это снижает операционные издержки, ускоряет запуск и реакцию на проблемы, повышает доверие к результатам. Участники уйдут с чек-листом алёртов, шаблонами порогов и маршрутизации, а также картой рисков для аудита своих процессов. Доклад состоит из двух частей: о проблематике А/Б-тестов (алерты по ортогональности и аддитивность, детектирование пересечений одновременных и последовательных экспериментов, влияние чужих тестов на ключевые метрики вашего продукта), и часть, подсвечивающая топовые проблемы, касающиеся любых продуктов, например, выбросы в GMV и DQ-проверки. Подробно разберем как отслеживать свои метрики в чужих экспериментах — алертинг при значимых отклонениях, ранние предупреждения и пороговые алерты при «жёстких просадках» по всем метрикам. Отдельно поговорим про GMV и распределения: мониторинг нормальности/тяжёлых хвостов, отсев выбросов для north-star метрик и мониторинги «здоровья» эксперимента: SRM-сканер, контроль слоёв/пересечений и DQ-проверках: автоматической валидации источников и таблиц расчёта метрик для разных продуктов, алертах по невалидным/сломавшимся метрикам. Уделим внимание теме важности отслеживания не только экспериментов, идущих в одно время, но и за экспериментами, идущими друг за другом. Слушатели доклада увидят полную карту рисков для своих тестов и смогут провести аудит своих процессов. Будут принимать больше решений, ориентированных на экономику компании целиком, а не только на свой продукт. Слушатели получат чек-лист алертов для A/B (ортогональность/аддитивность, SRM, DQ и др), шаблоны порогов и маршрутизации уведомлений, карту рисков и быстрый аудит текущих процессов и практические рекомендации по внедрению слоя наблюдаемости как «продукта» поверх A/B-платформы. | ВЛАДИСЛАВ ЛУКАШЕНКО, HEAD OF SEO ТЕНЗОР КАК ПЕРЕЕХАТЬ С GTM НА YATM Кейс переезда с GTM на менеджер тегом Яндекса одного из сайтов нашей инфраструктуры: tensor.ru Расскажу о предпосылках переезда аналитической инфраструктуры. О том, как организовать переезд веб-аналитической инфраструктуры с платформы GTM в менеджер тегов Яндекса, как мы преодолевали трудности отсутствия режима совместной работы, как организовали процесс перехода на примере различных типов целей Яндекс Метрики, как организовали процесс тестирования без режима предпросмотра в YaTM, как отреагировала на переезд реклама в Директе. В докладе приведу сравнение «до»/«после» по отработке целей. У слушателей появится стройная структура действия для миграции своей аналитической инфраструктуры без потерь. Слушатели смогут забрать и воспроизводить этот кейс в своих компаниях. | МАКСИМ КАЛАЦКИЙ, CAO ADTECH МАГНИТ OMNI RETAIL MEDIA: КАК ПОСТРОИТЬ ОМНИКАНАЛЬНУЮ АНАЛИТИКУ СО СТАРТОВОГО УРОВНЯ Расскажу как построить омниканальную аналитику со стартового уровня. Как из отдельных личных кабинетов и Excel» перешли к единому платформенному контуру с единой событийной моделью, семантическим слоем и витринами с retail-media метриками. Еще в начале года мы были на стадии квеста с множеством дверей без карты: события лежат в разных системах, часть отчетности ведется вручную, персонализация не сквозная, баги выскакивают неожиданно. В рамках новой стратегии мы собрали «главный артефакт» - структуру аналитической платформы, которая обеспечивает омниканальность: объединяет офлайн и онлайн данные Магнита. В настоящий момент наша цель - выйти на новый уровень, где AdTech работает не только для текущих задач, но и учитывает все возможности для будущего роста. Слушатели доклада получат основные сведения о построенни омнаканальной аналитики и получат чек-лист MVP-платформы (модель событий, описание семантического слоя и витрин данных) и набор метрик для retail media | КСЕНИЯ УЛИТКИНА, SENIOR PRODUCT ANALYST САМОКАТ ЦЕННОСТЬ РЕКОМЕНДАЦИЙ ДЛЯ КЛИЕНТА И БИЗНЕСА Как превратить рекомендации в источник инкрементальной выручки, а не просто карусель товаров? На реальных кейсах Самоката разберём, зачем нужны несколько рекомендательных поверхностей, как для каждой выбрать метрики и как встраивать рекламу без ущерба UX. С ростом ассортимента мы столкнулись с проблемой: как помочь пользователю не потеряться в выборе и быстро найти интересный ему товар? Мы увидели в этом возможность улучшить пользовательский опыт и напрямую повлиять на ключевые метрики бизнеса. Мы стали работать над системой рекомендаций: не только разработали новые поверхности, но и усилили алгоритмы для существующих поверхностей, а также научились органично интегрировать в них рекламные размещения товаров. С помощью этого растим конверсионные и денежные метрики Самоката: конверсию в добавление товара в корзину, средний чек, ARPU и ARPPU. В рамках доклада разберем: зачем нужно несколько рекомендательных поверхностей, как разные механики рекомендаций работают на разных этапах пользовательского пути и решают конкретные задачи, как интегрировать рекламу в рекомендации, не ухудшая пользовательский опыт, как растить продажи нон-фуд товаров, когда в приложение пользователи приходят преимущественно за едой, как проводить оценку эффективности: какие метрики считать и как интерпретировать результаты А/Б-тестов. Слушатели узнают на реальных кейсах, как строить и развивать систему рекомендаций, которая одновременно повышает удовлетворенность клиентов и приносит прямую финансовую выгоду. После доклада аудитория сможет применять эти подходы в своих проектах, чтобы делать допродажи не навязчиво, а органично, через улучшение клиентского опыта. | ||||||||||||||||||
91 | |||||||||||||||||||||||
92 | 13:10 13:40 | МАРИЯ ПАХНОВА, СТАРШИЙ АНАЛИТИК-РАЗРАБОТЧИК OKKO ПУТЬ A/B-ТЕСТА ОТ СОЗДАНИЯ ЧЕРНОВИКА КАРТОЧКИ ЭКСПЕРИМЕНТА ДО РЕЛИЗА ФИЧИ За последние два года в онлайн-кинотеатре Okko была выстроена собственная A/B-платформа, которая стала ключевым инструментом аналитиков. На ней проведено свыше 300 экспериментов, четверть из которых завершились внедрением успешных фичей. Платформа одновременно решает две критически важные задачи для аналитиков: ежедневный пересчёт метрик для десятков экспериментов, гибкая настройка кастомных показателей, автоматические проверки качества данных и уведомления о сбоях, что даёт возможность аналитикам работать с воспроизводимыми результатами и доверять каждой цифре и кроме это платформа позволила стандартизировать полный цикл экспериментов - от заполнения карточки и ревью аналитиком до анализа, презентации результатов в дашбордах и принятия решений о релизе. Благодаря этому аналитики перестали тратить время на рутину и сосредоточились на интерпретации результатов. Слушатели узнают, как автоматизация процессов и стандартизация жизненного цикла A/B-тестов позволяют не только ускорить проверку гипотез, но и повысить доверие к данным. Для дата-инженеров это кейс о масштабируемости расчётов метрик, а для менеджеров — о том, как встроенные инструменты меняют культуру принятия решений на основе экспериментов. В докладе будет показан полный жизненный цикл A/B-теста: от заполнения карточки и дизайна через калькулятор MDE до анализа метрик, автоматических проверок качества данных и принятия решений в дашбордах. Участники узнают, как автоматизация и стандартизация процессов повышают достоверность результатов и снимают рутину с аналитиков, позволяя сосредоточиться на интерпретации и стратегических выводах. | ВАЛЕРИЙ ТИБИЧИ-ДЕМИТРОВ, РУК-ЛЬ ОТДЕЛА АНАЛИТИКИ РОСГОССТРАХ ЖИЗНЬ ПОСЛЕ AMPLITUDE: КАК МЫ ПЕРЕСТРОИЛИ ПРОДУКТОВУЮ АНАЛИТИКУ Мы в Росгосстрахе планировали построить продуктовую аналитику на Amplitude, но санкции на дали этому плану сбыться - нужно было выбирать другие инструменты, т.к. задачи продуктовой аналитики никуда не делись. Нам требовалось решение «Amplitude-класса», совместимое с требованиями финсектора, чтобы быстро дать командам воронки/пути/когорты/retention и связать их с ROMI/LTV/атрибуцией - без месячной ручной сборки отчётов и рассинхрона между продуктом и маркетингом. Мой доклад, это история о том, как мы выбрали SaaS локального провайдера с опцией развёртывания в защищённом контуре и полноценным разграничением доступов. Пересобрали событийную модель под web/app; внедрили единые идентификаторы, где это возможно. Запустили self-service для продуктовых и маркетинговых ролей (шаблоны отчётов, ролевые правá, регламент обновлений). Сшили продуктовые отчёты (воронки, пути, когорты/retention, сегментация) с маркетинговыми метриками (ROMI, LTV, атрибуция, план-факт). Также уделим внимание вопросам соблюдения требований ИБ: как совместить SaaS и безопасность - сегрегация данных, аудит, доступы. | ИРИНА СЫТОВА, РУК-ЛЬ АНАЛИТИКИ РЕКЛАМЫ И МОНЕТИЗАЦИИ ЯНДЕКС ЕДА ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКЛАМНЫХ И ПРОМО МЕХАНИК ДЛЯ ПАРТНЕРОВ (РЕКЛАМОДАТЕЛЕЙ) С ПОМОЩЬЮ СИСТЕМЫ ЛОКАЛЬНЫХ КОНТРОЛЕЙ Основная идея доклада - рассказать о том, как мы научились замерять честную эффективность механик продвижения для партнеров, а на основе этих знаний развивать продукт и растить проникновение в партнеров. Подробно расскажем о том, как мы создавали, внедряли и масштабировали такую систему контролей. Речь пойдет о наших метриках эффективности перформанс-рекламы, таких как % инкрементальных заказов и CPIO, а так же ряда других, потому что классических метрик порой недостаточно для оценки реальной эффективности инструмента. Чтобы честно оценивать эффективность разных инструментов продвижения и замерять инкрементальность мы реализовали систему локальных контролей. Для этого продумали логику сплитования партеров и пользователей по некольким параметрам, настроили расчет метрики и статзначимости, о чем подробнее расскажу в докладе. Раскрою, почему для этих целей не подходят классические эксперименты. Поговорим про долгосрочные эффекты и их влияние на метрику, стоит ли их выделять и как это делать. Обсудим, какие еще исследования можно провести с помощью локальных контролей и их влияние на механики для партнеров, например исследование эластичности инкремента от ставки. Подходы из доклада точно смогут имплементировать сервисы, внутри которых присутствуют механики продвижения и имеется достаточный трафик пользователейМы как сервис прошли долгий путь к собственному рекламному аукциону, выстриванию с нуля системы метрик для оценки эффективности инструмента и масштабированию этого опыта на все основные механики продвижения на нашем сервисе, что в том числе помогает более осознанно принимать решения по развитию продукта, наращивать базу рекламодателей и лучше их удерживать | ДИАНА ИБРАГИМОВА, DATA SCIENCE RECSYS LEAD ECOM.TECH РЕКОМЕНДАТЕЛЬНАЯ ЛЕНТА КОРОТКИХ ВИДЕО ДЛЯ ВЕЧНОГО COLD START В E-COMMERCE Наша команда решала задачу ml-рекомендаций с вечным cold start в Самокате: специфика полки с короткими видео в том, что они имеют короткое время жизни, дополнительно видео для нового ассортимента, который ранее не продавался в самокате. В результате, увеличили деньги с полки >10%, зафиксировали результат в A/B-тесте. Слушатели узнают, что нельзя выучить того, чего нет (например sequential паттерны, если новый ассортимент нонфуда для самоката, где исторически продавалась только еда, истории в несколько месяцев тоже может не хватить для sequential паттернов); доменность полки и понимание пользователя может дать больше импакта, чем SOTA-модели за единицу времени (ротация контента в нашей полке была критически важна и любое её замедление или отключение просаживало метрики более значимо, чем разница в качестве ранжирования контента); на каких этапах жизненного цикла рекомендательнрй ленты кросс-доменная специфика может дать буст метрик, как отличить эффект новизны от стат значимого улучшения алгоритма на долгосроке (много аналитики результатов, ухудшающие аб тесты, «вечный» контроль в аб и его нюансы, тесты на онлайне). Подробно разберемся в вопросе что при большом, новом, часто ротирующемся ассортименте(вечно новый контент в видео) не всегда нужно точно сразу угадывать товар, который относится к видео, достаточно хорошо предсказывать sub-группу, а потом внутри релевантных sub-групп уже уточнять предсказание. Почему это важно аналитикам. Короткие видео живут недолго, ассортимент часто обновляется (в том числе «новый для домена» нон-фуд), историй недостаточно для «обучения по последовательностям». В таком режиме классические офлайн-метрики и сложные SOTA-модели быстро деградируют — решает правильная аналитика экспериментов, управление новизной и доменная логика подачи контента. | ||||||||||||||||||
93 | |||||||||||||||||||||||
94 | 13:45 14:15 | АЛЕКСАНДР ВОЛКОВ, ВЕДУЩИЙ АНАЛИТИК ФИНАНСОВЫХ СЕРВИСОВ OZON БАНК ТОМПСОНОВСКОЕ СЕМПЛИРОВАНИЕ: «РАССТРЕЛ» A/B-ТЕСТОВ И СКРЫТЫЙ ПОТЕНЦИАЛ ML Задача состояла в выборе одной из 10 текстовок на виджете кредитной карты OZON Bank для увеличения привлечения новых клиентов. Кейс позволил ускорить принятие решения в формате А/В-эксперимента, сокращая количество групп до 4 с помощью семплирования Томпсона (метод решения задач с помощью «одноруких бандитов»). Расскажем о нашем методе, который позволил вместо затрат 8 недель на 10 вариантов реализовать все за 2 недели: «бандиты» за неделю отсеяли 6 текстовок, подтверждающий A/B на четырех финалистах выявил лучший вариант, который показал рост CTR на 8%, рост конверсии из просмотр в клик 10% и рост конверсии в заполнение анкеты на 2%. Далее на основе А/В-эксперимента была обучена рекомендательная ML-модель, которая подбирала текст для каждого пользователя индивидуально. Модель показала рост конверсии в заполнение анкеты на кредитную карту на 1,7% против победившего варианта в прошлом тесте, а также рост CTR и конверсии в клик. Слушатели узнают, когда уместно семплирования Томпсона, как комбинировать bandits + confirmatory A/B + персонализацию, чтобы проверять больше альтернатив за то же время и переводить улучшение метрик в деньги и иметь возможность проверять больше альтернатив за тот же TTM и затем докручивать uplift за счёт ML-персонализации | НИКОЛАЙ СУЩЕНКО, ТЕХНИЧЕСКИЙ ДИР-Р АДВЕНТУМ КАК ПОДРУЖИТЬ LLM С ВАШИМ DWH Люди сейчас настолько привыкли к ИИ, что традиционные BI-инструменты кажутся отсталыми, если в них нет окошка с чатом. Но ни одна модель не в курсе, как устроены ваши данные, поэтому без должной подготовки будет галлюцинировать или отказываться работать. В этом докладе мы поделимся опытом, как построить мост между API нейросети и SQL-интерфейсом вашей базы данных. Мы покажем, как замерять качество работы LLM на ваших данных, какие метаданные нужно добавить для контекста и как организовать взаимодействие LLM и вашей базы данных. Мы реализовали интеграцию ИИ с DWH нескольких наших клиентов из разных отраслей, допустили все возможные ошибки и теперь знаем, какие избежать, а поэтому, слушатели узнают как научить систему говорить «я не знаю» и «у меня недостаточно данных», как быть с тем, что LLM может «забыть», что высокий ROI это хорошо, а ДРР – плохо. В ходе лекции я покажу, как мы «помогаем» модели, требуя от нее только сказать, какие данные ей нужны, а детали визуализации достраивая другими алгоритмами, как сокращать стоимость работы, сокращая объем входных и выходных данных, сравним между собой разные модели: ChatGPT, DeepSeek, T-Pro, Yandex GRT и GigaChat. Слушатели получат идеи к ТЗ на разработку, чтобы получить работающий инструмент с ИИ, рекомендации, как не совершать тех же ошибок, что совершили мы, шаблоны промптов, которые позволяют снизить частоту галлюцинаций | ОЛЬГА КОТЕЛЬНИКОВА, РУК-ЛЬ МАРКЕТИНГОВОЙ АНАЛИТИКИ ТУТУ МЕТОДЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ МЕДИЙНОЙ РЕКЛАМЫ: ОПЫТ ТУТУ Расскажу о том, как в Туту выстроен процесс оценки эффективности маркетинговых каналов, в частности — медийной рекламы. Медийная реклама — работа в "долгую" на построение знания, а не про конкретный call to action. К тому же у нас есть специфика: мы работаем в тревеле, а это дорогой и сложный продукт с низкой частой потребления. При это мы тратим много на медийную рекламу и хотим делать это эффективно, принимать решения на основе данных и оценивать ее эффективность. В докладе расскажу о том, как мы выстроили оценку эффективности, как пришли к пониманию того, что работает, а что — нет, как мы тратим деньги с умом и выбираем каналы. Расскажу, как мы в Туту применяем методы оценки медийной рекламы и как ищем новые. Рассмотрим методы, которые дают нам понять, что работает, что нет: регрессионное моделирование (МММ), baseline и оценка кампаний с их помощью, cинтетические регионы как замеры эффективности в региональных РК, post view анализ для диджитальных охватных РК. Будет полезно всем, кто работает с медийкой и хочет оценивать ее эффективность: маркетологам, маркетинговым аналитикам, директорам по маркетингу, которые только думают про охватные кампании и всем, кто хочет делать маркетинг более прозрачным Расскажем про то, что делаем у себя, расскажем про принципы и общие паттерны, которые можно будет переиспользовать. Скриптами не поделимся, но про общий подход расскажем, и это точно можно будет применить у себя. | ДМИТРИЙ МОСКАЛЕВ, LEAD AI ENGINEER MTC WEB SERVICES РАБОТА С КАТАЛОГОМ ДАННЫХ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ Расскажу почему класс задач Text2SQL стал актуален на примере экосистемы компании, после чего перейду к рассказу про автоматизацию каталога данных (600к+ сущностей) используя AI-агенты, RAG, LLM, ERD и механизмы проверки качества описаний. Представлю архитектуру по извлечению релевантного контекста из базы знаний, а также общую архитектуру описания сущностей (таблицы, колонки) для разных сценариев использования. После этого покажу как это соединяется с ERD, а также архитектуру и как ERD помогает в описании сущностей. Поделюсь, как собирали БЗ, как получилась хорошая точность и время инференса в few-shot/zero-shot сценариях для пустых или недоступных таблиц, либо сущностей, для которых не было релевантного контекста. Как используются явные и неявные связи межу сущностями и в чем улучшения от текущих методов. Подробно остановимся на тестировании и улучшениях работы с БД на естественном языке. Расскажу про процесс тестирования и методы улучшения E2E решения на примере prompt-engineering, генерации фрагментов из собранной БЗ, актуальность выбора open-source моделей эмбеддингов и LLM, баланса в ERD, а также про переход и выбор релевантных сущностей на естественном языке при поиске среди обработанных сущностей. Также посмотрим метрики корректной генерации Text2SQL на бенчмарках и адаптивную визуализацию результатов в зависимости от сгенерированного SQL запроса. В заключение покажу важные этапы автоматизации описания, разметки, работы с каталогом данных и рекомендации компаниям, DBA и аналитикам, которые используют AI для улучшения понимания продуктов и получению инсайтов по данным. Слушатели смогут понять важные этапы автоматизации описания, разметки, работы с каталогом данных, а также использования AI для улучшения понимания продуктов и получения инсайтов по данным | ||||||||||||||||||
95 | |||||||||||||||||||||||
96 | 14:20 14:50 | АЛЕКСАНДР СИДОРОВ, ЛИДЕР РАЗВИТИЯ ПРОДУКТОВОЙ АНАЛИТИКИ ВКУСВИЛЛ CASUAL INFERENCE ИНСТРУМЕНТЫ ОЦЕНКИ ЭФФЕКТОВ В мобильных продуктах нередко нельзя провести рандомизированный A/B-тест: фича уже раскатана, нет holdout-группы, сильные внешние факторы или ограничения по трафику. При переходе к «наблюдательной» оценке главные риски для аналитика — смещения, сезонность и новизна эффекта, которые приводят к неверным бизнес-решениям. Задача заключалась в оценке эффекта который дает нам функционал мобильного приложения, при невозможности проведения обратного А/В-теста. В рамках доклада разберем, какие существуют инструменты casual inference для оценки эффектов, какие есть ограничения у таких инструментов. Слушатели получат чек-лист выбора метода под ограниченные данные и смогут переиспользовать опыт и избежать ошибок, которые могут возникнуть на пути оценки эффекта, познакомятся с существующими ограничениями и смогут заранее понимать, как и когда они смогут воспользоваться таким инструментарием | |||||||||||||||||||||
97 | |||||||||||||||||||||||
98 | 14:55 15:25 | ВААГН МИНАСЯН, DATA ANALYTICS & ML-TEAMLEAD LATECH КАК СТРОИТЬ И МАСШТАБИРОВАТЬ A/B-ПЛАТФОРМУ: КЕЙС LAMODA Классическая проблема аналитиков — скорость и достоверность экспериментов. В докладе мы разберём, как построенная в Lamoda A/B-платформа обеспечила чистоту данных, снизила риск статистических ошибок и дала продуктовым командам self-service-инструменты для самостоятельного запуска тестов. Участники узнают, как архитектура пайплайна данных и методология экспериментов напрямую влияют на качество решений и какие уроки можно извлечь при создании и масштабировании собственной платформы. В нашем кейсе создание масштабируемой и надежной платформы позволило продуктовым командам и аналитикам самостоятельно запускать эксперименты, ускорять проверку гипотез и внедрять изменения в продукт, минимизируя риск статистических ошибок и искажений. Покажу, как построить пайплайн событий от клиента и сервера до агрегации метрик, чтобы можно было доверять тестов и повысить надежность расчетов посредством централизации экспериментов, которая снижает количество ошибок и обеспечивает воспроизводимость результатов. Поделюсь информацией о том, как избежать ловушек при оценке значимости и работать с долгосрочными метриками и о том, что реально работает при масштабировании A/B-платформы и какие ошибки мы бы не допустили второй раз. Слушатели получат понимание того, как архитектурные и методологические решения платформы напрямую влияют на скорость и качество экспериментов, почему правильный пайплайн данных повышает доверие к результатам и как self-service-инструменты растят статус аналитика в компании. | |||||||||||||||||||||
99 | |||||||||||||||||||||||
100 | 15:30 16:00 | РОСТИСЛАВ СОЛОВЬЕВ, DATA ENGINEER РАЙФ A/B-ПЛАТФОРМА БЕЗ БАКЕТОВ. ПЛЮСЫ И МИНУСЫ. Классическое бакетное сплитование часто искажает результаты в персонализированных и долгосрочных экспериментах. Мы построили платформу с поклиентным сплитованием, которая гарантирует чистоту данных, контроль пересечений и достоверность выводов даже по сложным сегментам и метрикам вроде LTV и удержания. Слушатели лекции узнают, как выбор архитектуры напрямую влияет на аналитическую точность и почему именно этот подход снижает риск дорогостоящих ошибок. Для аналитиков ключевая проблема в экспериментах с персонализированными продуктами — это не скорость запуска теста, а качество данных, чистота выборки и доверие к результатам. Особенно если речь идет о долгосрочных метриках вроде удержания и LTV или о тестах, влияющих на тарифы, кредитные лимиты, B2B-сегменты. Ошибки здесь стоят дорого, а стандартное бакетное сплитование часто приводит к смещениям и ложным выводам. Мы выбрали поклиентное сплитование и построили платформу, которая: фиксирует принадлежность пользователя к тесту и гарантирует принцип ITT, гибко управляет пересечениями и слоями экспериментов, поддерживает сложные и динамичные сегменты, делает результаты аудируемыми и воспроизводимыми, снижает риск ложноположительных результатов. Техническая реализация позволила отвечать со скорость 20-30 мс при 500 RPS и 30+ одновременных тестов. Расскажу благодаря чему это удалось. Технологический стек: python, in-memory DB, денормализация, 3 уровня кеширования. Для аналитиков это повысило прозрачность данных и степень доверия выводам даже по долгосрочным метрикам. Стало проще доказывать бизнесу, что решения основаны на корректных результатах. Запуск и сопровождение экспериментов стало возможным без постоянной зависимости от инженеров. За время развития платформы время на запуск теста и подведение итогов сократилось с нескольких дней до минут, число тестов в месяц превысило 30. Провели успешный внешний аудит экспертами из компании EXPF. | |||||||||||||||||||||
101 | |||||||||||||||||||||||
102 | |||||||||||||||||||||||