Что произойдёт, если во время A/B теста проверять результаты каждый день и остановить тест при первом значимом p-value?

Вопрос с собеседования аналитика по теме «A/B тесты».

Варианты ответа

• Это «peeking problem»: множественные проверки раздувают вероятность ложноположительного результата далеко за пределы номинального alpha=5%
• Ничего плохого — ранняя остановка экономит трафик и ресурсы
• p-value станет более точным, так как используется больше промежуточных данных
• Это допустимо, если использовать alpha=1% вместо 5%

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «A/B тесты»

• Как применить дельта-метод для метрики конверсии?
• Объясните идею switchback теста с примерами.
• Как проводить CUPED на практике?
• Что такое switch-over bias и как его избежать?
• Зачем нужна стратификация при рандомизации?
• Что такое sequential probability ratio test (SPRT)?
• Как скорректировать метрику retention с помощью линеаризации?
• Что помогает контролировать сезонность в эксперименте?

Тестовые задания

• Базовый A/B-тест кнопки «Купить»
• Расчёт размера выборки для A/B-теста

Полезные блог-статьи по теме

• dbt Tests: generic + custom + dbt-utils (полный гайд с примерами)