Команда хочет проверить 8 разных метрик в одном A/B-тесте на уровне α=0.05 для каждой. Чему примерно равна вероятность хотя бы одного ложного срабатывания и что с этим делать?
A/B тестыhardsenior
Вопрос с собеседования аналитика по теме «A/B тесты».
ab-тестымножественные-сравненияfwerbonferroni
Варианты ответа
Ровно 5% — уровень значимости жёстко фиксирован и совершенно не зависит от числа проверяемых метрик
Около 5% на метрику и 5% суммарно — независимые тесты не накапливают ошибку
Около 34% — нужна поправка на множественные сравнения (Bonferroni или Benjamini-Hochberg)
Около 40% — но поправка не нужна, достаточно увеличить выборку в 8 раз
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.