Команда тестирует 5 вариантов кнопки в A/B/C/D/E-тесте с α=0.05. Как правильно корректировать p-value для множественных сравнений?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
multiple-testingBonferroniA/B
Варианты ответа
Bonferroni: α/n = 0.05/4 = 0.0125 для каждого сравнения с контролем. Консервативно, но надёжно. Либо Holm-Bonferroni который адаптивен и менее строгий при большом n
Корректировка через FDR (false discovery rate) в Benjamini-Hochberg лучше Bonferroni, потому что FDR контролирует долю ошибок среди отвергнутых H0 — для A/B это точнее
Bonferroni применяется только если тестируешь несколько метрик. Для нескольких вариантов одной метрики достаточно стандартного α=0.05, поправка даст ложную консервативность
Никак корректировать не нужно — в A/B-платформах (Optimizely, Statsig) уже встроены поправки на multiple testing, можно смотреть raw p-value и доверять им
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.