A/B-тест новой кнопки показал +5% к конверсии, p=0.03. Но дизайн: тест шёл 3 дня (только будни), трафик делился по дню недели, а не рандомно по юзерам. Главная угроза валидности?
Слишком короткий период в 3 дня делает p-value автоматически недостоверным независимо от способа разбиения трафика на группы
Эффект 5% слишком мал, чтобы быть практически значимым, поэтому даже при p=0.03 результат стоит отбросить как статистический шум
Множественные сравнения: при 5% эффекте всегда нужна поправка Бонферрони, без неё значимый результат считать нельзя ни при каких условиях
Нет рандомизации на уровне юзера: группы систематически различаются (будни/выходные, сегменты), эффект смешан с конфаундерами
Как разобрать этот вопрос на собеседовании
Раздели задачу на «какая гипотеза», «какой тест подходит» и «как интерпретировать результат». Держи в голове предпосылки теста, ошибки I и II рода и разницу между статистической и практической значимостью. Интервьюер чаще проверяет рассуждение, а не вывод формулы — проговаривай допущения вслух.
Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.
Тема вопроса — «Статистика». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: конспекты по статистике и a/b помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.