Команда тестирует 5 вариантов кнопки в A/B/C/D/E-тесте с α=0.05. Как правильно корректировать p-value для множественных сравнений?

A/B тесты medium middle

Вопрос с собеседования аналитика по теме «A/B тесты».

multiple-testingBonferroniA/B

Варианты ответа

Bonferroni: α/n = 0.05/4 = 0.0125 для каждого сравнения с контролем. Консервативно, но надёжно. Либо Holm-Bonferroni который адаптивен и менее строгий при большом n
Никак корректировать не нужно — в A/B-платформах (Optimizely, Statsig) уже встроены поправки на multiple testing, можно смотреть raw p-value и доверять им
Bonferroni применяется только если тестируешь несколько метрик. Для нескольких вариантов одной метрики достаточно стандартного α=0.05, поправка даст ложную консервативность
Корректировка через FDR (false discovery rate) в Benjamini-Hochberg лучше Bonferroni, потому что FDR контролирует долю ошибок среди отвергнутых H0 — для A/B это точнее

Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.

3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.