Как считать доверительный интервал для разницы долей по Вальду?

Вопрос с собеседования аналитика по теме «A/B тесты».

Варианты ответа

• Использовать $\text{diff} \pm z \cdot \sqrt{\frac{p_1(1-p_1)}{n_1} + \frac{p_2(1-p_2)}{n_2}}$, где $\text{diff} = p_2 - p_1$
• Использовать формулу p̂ ± z * sigma, как для одной доли, игнорируя разницу между двумя группами
• Всегда рассчитывать доверительный интервал только через бутстрап, не используя никаких аналитических приближений
• Строить интервал вида diff ± t * s, где s — любая оценка стандартного отклонения без учёта биномиальной природы данных

Как разобрать этот вопрос на собеседовании

Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.

Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.

Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «A/B тесты»

• Тестируете новый алгоритм рекомендаций в соцсети, где действия пользователей влияют друг на друга (лайки, репосты). Как выбрать единицу рандомизации, чтобы оценка эффекта не была смещена?
• Перед запуском теста конверсии нужно посчитать длительность. Базовая конверсия 4%, хотим ловить относительный прирост 5% (MDE), alpha 0.05, мощность 80%. Чего из перечисленного НЕ хватает для расчёта sample size?
• Бизнес хочет иметь право остановить тест раньше срока при явном эффекте, но без раздувания ошибки I рода. Какой подход это обеспечивает?
• Магазин e-commerce хочет поднять конверсию из визита в заказ с 3.0% минимум до 3.6% (MDE = +0.6 п.п.). Двусторонний тест, α = 0.05, мощность 80%. Сколько наблюдений нужно НА КАЖДУЮ группу?
• SaaS: конверсия из trial в платящего = 10.0%. Новый онбординг тестируем на 8 000 пользователей в каждой группе, ожидаем прирост до 11.5%. α = 0.05 (двусторонний). Какова фактическая мощность теста?
• Для e-commerce теста рассчитали 13 911 визитов на группу (конверсия 3%→3.6%, мощность 80%). В воронку теста попадает ~4 000 подходящих визитов в сутки на весь тест. Сколько минимум дней крутить тест на 2 группы?
• SaaS-онбординг: конверсия trial→paid = 12%, хотим уверенно ловить прирост до 14% (MDE +2 п.п.). α = 0.05 (двусторонний), мощность 90%. Сколько пользователей нужно на группу?
• У SaaS-теста нужно 5 937 пользователей на группу (trial→paid 12%→14%, мощность 90%). В trial ежедневно заходит ~1 500 новых пользователей, всех делим на 2 группы. За сколько дней наберём выборку?

Тестовые задания

• Sample size и MDE для A/B-теста конверсии
• Дельта-метод для ratio-метрики (выручка на клик)

Полезные блог-статьи по теме

• Guardrail-метрики в A/B тесте: что это и зачем
• dbt Tests: generic, custom и dbt-utils с примерами