SRM после релиза: сплит поехал — можно ли доверять +2.1% GMV?

Ситуация: После деплоя нового сервиса экспериментов сплит перестал быть 50/50: разобрать, как χ²-проверкой поймать SRM, отличить чистое AA-окно от перекоса и почему при SRM нельзя читать метрику.

Маркетплейс выкатил новый сервис назначения экспериментов вместе с новым ранжированием. Через несколько дней аналитик замечает, что распределение пользователей по бакетам эксперимента search_ranking_v3 перестало быть ровно 50/50. При этом дашборд показывает «победу» варианта: +2.1% GMV/сессия. Задача на собеседовании — понять, можно ли доверять этому результату, и что делать.

Доступные данные

• Эксперимент search_ranking_v3, назначение на уровне пользователя, целевой сплит 50/50
• Пред-релизное AA-окно: 50 123 / 49 877 (всего 100 000 юзеров) — сплит выглядит чистым
• После релиза: контроль 50 600 / вариант 49 400 (всего 100 000 юзеров)
• Разница 1 200 юзеров (50.6% vs 49.4%) — на глаз почти незаметна
• Гипотеза: JS-ошибка в варианте роняет часть сессий до записи назначения в трекинг
• Дашборд показывает вариант +2.1% GMV/сессия — но доверять этому нельзя до устранения SRM

Задачи

• Сформулировать, что такое SRM и почему он инвалидирует результаты эксперимента
• Посчитать χ² SRM для пред-релизного AA-окна и убедиться, что там чисто
• Посчитать χ² SRM для пост-релизного сплита 50 600 / 49 400
• Определить порог значимости для SRM (обычно α=0.001) и сделать вывод
• Локализовать источник перекоса: по дням/платформам/версиям приложения найти, где течёт сплит
• Дать план действий: не читать метрики, чинить трекинг варианта, перезапустить эксперимент

Все кейсы для подготовки → ← Все кейсы