A/B-тест с запланированным сплитом 50/50. В контроль попало 10 250 пользователей, в тест — 9 750. Аналитик запускает SRM-проверку (критерий согласия χ²). Что делать с результатами теста?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
srmвалидностьchi-squareрандомизация
Варианты ответа
χ²≈0.5, p≈0.48 — расхождение случайно, тест валиден, можно спокойно переходить к анализу продуктовых метрик.
SRM при 10k на группу считать не нужно: дисбаланс в 2.5% всегда укладывается в доверительный интервал долей.
χ²=12.5, p≈0.0004 — SRM подтверждён: остановить анализ, искать причину перекоса рандомизации, метрики пока не смотреть.
χ²=12.5, p≈0.0004 — но 0.0004 это доля перекоса, эффект небольшой, продолжить набор выборки в обычном режиме.
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.