Запущен A/B тест. По первичной метрике (CR) lift +3% (p=0.02). По guard-метрике (page load time) lift +0.5% (p=0.30). Что докладываешь команде?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
A/Bguard-metricsdecision-making
Варианты ответа
Раскатываем без оговорок: p-value page-load > 0.05 значит «нет эффекта», нет смысла предупреждать команду о статистически незначимом результате
Не раскатываем: page load time выросла, это пользовательский опыт, никакие конверсии не оправдают замедление приложения, выкатка под запретом
Положительный результат, но указать что guard-метрика выросла на 0.5% (хоть и не stat-sig, но направление неблагоприятное); рекомендую раскатить с monitoring page-load после launch
Перезапускаем тест с большим объёмом, чтобы получить определённый ответ по guard-метрике — без этого решение нельзя принять
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.