Новое ранжирование выдачи: выросла ли GMV на сессию?

Ситуация: A/B-тест нового алгоритма ранжирования каталога на скошенной непрерывной метрике GMV/сессия: выбрать корректный тест, проверить SRM, оценить эффект и ускорение через CUPED.

Маркетплейс поменял алгоритм ранжирования товаров в поисковой выдаче и каталоге. Продуктовая цель — поднять GMV на сессию (выручка со всех заказов в сессии). Метрика непрерывная и сильно скошена: большинство сессий заканчиваются без покупки (GMV=0), а редкие крупные заказы формируют длинный правый хвост. Тебя просят на собеседовании разобрать результаты и предложить, как ускорить такие тесты.

Доступные данные

• Контроль (старое ранжирование): 60 000 сессий, средняя GMV/сессия 1 240 ₽, SD 3 100 ₽
• Вариант (новое ранжирование): 60 000 сессий, средняя GMV/сессия 1 290 ₽, SD 3 200 ₽
• Относительный прирост +4.0% (+50 ₽ на сессию)
• Метрика сильно скошена: ~70% сессий с GMV=0, длинный правый хвост от крупных заказов
• Доступна пред-экспериментальная GMV на пользователя; корреляция с in-experiment ρ=0.6 (для CUPED)
• Фактический сплит 60 123 / 59 877 — материал для SRM-проверки
• Тест длился 14 дней

Задачи

• Выбрать корректный тест для скошенной непрерывной метрики (Welch t на средних vs бутстрап/перестановки)
• Проверить SRM по фактическому сплиту 60 123 / 59 877
• Посчитать Welch t-тест из сводных статистик и оценить значимость
• Оценить относительный прирост GMV/сессия и его бизнес-масштаб
• Предложить CUPED: насколько снизится дисперсия и ускорится тест при ρ=0.6
• Обсудить риски: аутлаеры/винзоризация, каннибализация категорий, влияние на маржу и логистику

Все кейсы для подготовки → ← Все кейсы