Ожидалось разбиение 50/50, а по факту в контроле 503 000 пользователей, в тесте 486 000. Хи-квадрат на пропорцию даёт p < 0.001. Что это значит и что делать?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
SRMsanity-checkrandomization
Варианты ответа
Это SRM: остановить анализ и искать баг в рандомизации/логировании, результатам метрик доверять нельзя
Разница мала (~1.7%), ей можно пренебречь и читать результаты по метрикам как есть
Нужно довзвесить группы обратными пропорциями и продолжить анализировать эффект
Это нормально при больших N, хи-квадрат всегда значим на миллионах наблюдений
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.