A/B на продукте с 50К DAU. Primary metric: D7 retention. Baseline 20%, хотим детектить +2pp. Сколько нужно дней эксперимента?

A/B тесты hard senior

Вопрос с собеседования аналитика по теме «A/B тесты».

sample-sizeretentionA/Bpower-analysis

Варианты ответа

Формула: n ≈ 16σ²/δ² на группу, для долей σ²=p(1-p)=0.16, δ=0.02 → n≈6400 на вариант. При 50К DAU / 2 = 25К/день → 1 день набрать когорту, плюс 7 дней чтобы померить D7 retention
Для Bayesian-теста достаточно 3 дня наблюдений независимо от DAU — prior сам подтянет точность оценки. Frequentist 2-3 недели, но это overkill для большой аудитории уже существующего продукта
Минимум 4 недели для любого A/B, независимо от выборки — это industry standard. Меньший срок не даст учесть недельную сезонность поведения юзеров и вернуть надёжный результат
Для D7 retention достаточно 7 дней от регистрации самого первого юзера — кто попал в когорту на day-1, достигнет D7 на день 8, этого достаточно для решения о раскатке

Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.

3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.