A/B на продукте с 50К DAU. Primary metric: D7 retention. Baseline 20%, хотим детектить +2pp. Сколько нужно дней эксперимента?
A/B тестыhardsenior
Вопрос с собеседования аналитика по теме «A/B тесты».
sample-sizeretentionA/Bpower-analysis
Варианты ответа
Формула: n ≈ 16σ²/δ² на группу, для долей σ²=p(1-p)=0.16, δ=0.02 → n≈6400 на вариант. При 50К DAU / 2 = 25К/день → 1 день набрать когорту, плюс 7 дней чтобы померить D7 retention
Для Bayesian-теста достаточно 3 дня наблюдений независимо от DAU — prior сам подтянет точность оценки. Frequentist 2-3 недели, но это overkill для большой аудитории уже существующего продукта
Минимум 4 недели для любого A/B, независимо от выборки — это industry standard. Меньший срок не даст учесть недельную сезонность поведения юзеров и вернуть надёжный результат
Для D7 retention достаточно 7 дней от регистрации самого первого юзера — кто попал в когорту на day-1, достигнет D7 на день 8, этого достаточно для решения о раскатке
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.