A/B test conversion rate. Контроль 10000 юзеров CR=8%, treatment 10000 юзеров CR=8.5%. p-value=0.18. Что делать?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
Варианты ответа
Перезапустить тест с другими юзерами на другом сегменте — возможно на свежей группе с новой рандомизацией зайдёт значимо
Принять H0 (нет значимого эффекта). Lift +0.5pp возможен, но текущая выборка не позволяет утверждать. Решение: либо набрать больше данных (≈20K на группу для MDE 0.3pp), либо признать что эффект слишком малый для бизнеса.
p > 0.05 однозначно означает, что эффекта точно нет — никогда не катить такую фичу на 100% юзеров без повторного теста
Сразу катить на 100% — результаты обнадёживающие, lift +0.5pp при таком sample size это сильный сигнал в пользу treatment
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.