Менеджер каждый день смотрит дашборд теста и хочет «выключить, как только p<0.05». При истинной H0 реальная доля ложных побед окажется около 30-40%, а не 5%. Почему так выходит?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
ab-testpeekingfalse-positivesequential
Варианты ответа
Каждый просмотр — отдельная проверка; α накапливается без коррекции и FPR растёт
Дашборд считает p-value по накопленной сумме, а не по дневным срезам
При ранней остановке мало данных, поэтому дисперсия p-value завышает FPR
Проблема только в первые дни — после набора выборки FPR падает обратно к 5%
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.