У тебя стат-тест с мощностью 30% при ожидаемом MDE 1%. Что это означает практически?

Вопрос с собеседования аналитика по теме «A/B тесты».

Варианты ответа

• Эффект найден с вероятностью 30% независимо от его реального размера, это и есть проблема малой мощности — она не зависит от выборки
• Тест ловит только 30% эффектов которые есть в популяции, поэтому надо повторять эксперимент 3-4 раза подряд чтобы увеличить шансы поймать эффект
• Только 30% случаев когда реальный эффект 1% будет detected — 70% реальных улучшений мы пропустим. Нужно либо растить N, либо принять больший MDE, либо использовать CUPED для увеличения мощности
• Тест сходится к правильному выводу в 30% случаев — статистическая значимость гарантирована но не всегда корректна, остальное это случайные совпадения

Как разобрать этот вопрос на собеседовании

Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.

На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.

Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «A/B тесты»

• Аналитик каждый день смотрит на p-value фикс-хорайзон t-теста и планирует остановиться, как только увидит p < 0.05. Почему это проблема и как правильно?
• В одном эксперименте вы тестируете 20 вторичных метрик. Цель — контролировать долю ложных открытий среди значимых (FDR) на уровне 10%, не теряя чрезмерно мощность. Какую поправку выбрать?
• Метрика теста — CTR = суммарные клики / суммарные показы, но рандомизация идёт по пользователю (у каждого много показов). Как корректно оценить дисперсию разницы CTR между группами?
• Тестируете новый алгоритм рекомендаций в соцсети, где действия пользователей влияют друг на друга (лайки, репосты). Как выбрать единицу рандомизации, чтобы оценка эффекта не была смещена?
• Перед запуском теста конверсии нужно посчитать длительность. Базовая конверсия 4%, хотим ловить относительный прирост 5% (MDE), alpha 0.05, мощность 80%. Чего из перечисленного НЕ хватает для расчёта sample size?
• Бизнес хочет иметь право остановить тест раньше срока при явном эффекте, но без раздувания ошибки I рода. Какой подход это обеспечивает?
• Магазин e-commerce хочет поднять конверсию из визита в заказ с 3.0% минимум до 3.6% (MDE = +0.6 п.п.). Двусторонний тест, α = 0.05, мощность 80%. Сколько наблюдений нужно НА КАЖДУЮ группу?
• SaaS: конверсия из trial в платящего = 10.0%. Новый онбординг тестируем на 8 000 пользователей в каждой группе, ожидаем прирост до 11.5%. α = 0.05 (двусторонний). Какова фактическая мощность теста?

SQL-задачи по теме

• Доверительный интервал CR (нормальная аппроксимация)

Тестовые задания

• Sample size и MDE для A/B-теста конверсии
• Дельта-метод для ratio-метрики (выручка на клик)

Полезные блог-статьи по теме

• MDE (Minimum Detectable Effect): формула и расчёт
• Ошибки первого и второго рода в A/B-тесте
• Guardrail-метрики в A/B тесте: что это и зачем
• MDE в A/B-тесте: формула и размер выборки