Хотим увеличить mobile checkout CR с базовых 8.5% на минимум +0.5 п.п. (lift ~5.9%). α=0.05, power=80%, две группы 50/50. Сколько нужно юзеров суммарно?
A/B тестыhardsenior
Вопрос с собеседования аналитика по теме «A/B тесты».
A/Bsample-sizepower-analysis
Варианты ответа
~500 000 юзеров — конверсии ниже 10% всегда требуют большую выборку из-за высокой относительной variance в Bernoulli-метрике
~120 000 юзеров — для абсолютной разницы в 0.5 п.п. при базе 8.5% это «золотой стандарт» SaaS-индустрии и расчёт не нужен
~46 000 юзеров суммарно (~23K на группу) — z-формула n = (z_α/2 + z_β)² × 2p̄(1-p̄) / (p1-p2)² при p̄=0.0875, Δ=0.005
~5 000 юзеров — близкие p1 и p2 не требуют большого объёма выборки, потому что absolute разница маленькая (0.5 п.п.)
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.