A/B тест запущен 3 дня. p-value = 0.04, lift +5%. PM просит немедленно раскатить. Что делаешь?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
A/Bpeekingnovelty-effectmethodology
Варианты ответа
Раскатываем на 50% юзеров и продолжаем тест на оставшиеся 50% — это даёт и быструю выкатку и защиту через продолжение измерения метрики
Раскатываем сразу: p < 0.05 — статистически значимо, lift положительный, нет причин ждать. Дополнительные дни только увеличат cost от поддержки двух вариантов
Не раскатывать: 3 дня — слишком короткий срок, есть novelty + day-of-week effects, и p-value близкий к 0.05 после короткого периода может быть peeking. Дотянуть до запланированной длительности
Меняем гипотезу с двусторонней на одностороннюю (так как lift положительный) — это снижает p-value в 2 раза и можно с большей уверенностью говорить о значимости
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.