A/B-тест работает уже 3 дня. Primary метрика: p=0.06. Бизнес торопит раскатку. Стоит ли останавливать тест «как только получим p < 0.05», подглядывая в результат каждый день?
Да, как только p < 0.05 — это признак реальной разницы между группами в текущем срезе данных
Неважно, p-value не зависит от времени и количества проверок: метрика стабилизируется быстрее sample-size планирования
Нет. Peeking (подглядывание) сильно раздувает false positive rate — тест нужно либо доводить до plan-sample-size, либо использовать sequential testing (GrowthBook, Optimizely)
Да, но только если эффект большой — для незначимых различий ранняя остановка приводит к смещению оценки lift
Как разобрать этот вопрос на собеседовании
Раздели задачу на «какая гипотеза», «какой тест подходит» и «как интерпретировать результат». Держи в голове предпосылки теста, ошибки I и II рода и разницу между статистической и практической значимостью. Интервьюер чаще проверяет рассуждение, а не вывод формулы — проговаривай допущения вслух.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «Статистика». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: конспекты по статистике и a/b помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.