В тесте смотрят 5 метрик (конверсия, ARPU, retention D7, средний чек, глубина сессии). Хотят держать общий FWER на уровне 0.05 поправкой Бонферрони. Какой порог значимости применяют к каждой метрике?
A/B тестыeasyjunior
Вопрос с собеседования аналитика по теме «A/B тесты».
множественные сравненияbonferronifwer
Варианты ответа
α_adj = 0.05/4 = 0.0125 — делят на число сравнений с контролем, то есть на 5−1.
α_adj = 0.05 × 5 = 0.25 — общий бюджет ошибки распределяется между пятью метриками.
α_adj = 0.05/5 = 0.01 — каждую из пяти метрик проверяют против порога 0.01.
α_adj = 0.05 без изменений: Бонферрони повышает требуемый z, а не сам порог α.
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
Это базовый вопрос — на собеседовании его задают как разминку и фильтр, поэтому важно ответить уверенно и без заминок.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.