У вас 5 одновременных A/B-тестов. На уровне α=0.05 каждый. Какова вероятность хотя бы одного false positive?

Вопрос с собеседования аналитика по теме «A/B тесты».

Варианты ответа

• 5%
• Около 22%
• 50%
• 5% × 5 = 25%

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «A/B тесты»

• Как применить дельта-метод для метрики конверсии?
• Объясните идею switchback теста с примерами.
• Как проводить CUPED на практике?
• Что такое switch-over bias и как его избежать?
• Зачем нужна стратификация при рандомизации?
• Что такое sequential probability ratio test (SPRT)?
• Как скорректировать метрику retention с помощью линеаризации?
• Что помогает контролировать сезонность в эксперименте?

Тестовые задания

• Базовый A/B-тест кнопки «Купить»
• Расчёт размера выборки для A/B-теста

Полезные блог-статьи по теме

• dbt Tests: generic + custom + dbt-utils (полный гайд с примерами)