В A/B-тесте нового баннера рандомизацию сделали на уровне сессии, хотя основная метрика — конверсия пользователя в покупку. Почему это ловушка?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
единица рандомизацииrandomization unitнезависимостьдизайн эксперимента
Варианты ответа
Один юзер попадает и в контроль, и в вариант в разных сессиях: группы смешиваются, а зависимые сессии занижают дисперсию → ложная значимость
session_id невозможно связать с user_id постфактум, из-за чего guardrail-метрики по пользователям посчитать уже не получится
Рандомизация по сессиям всегда режет доступный трафик вдвое, поэтому тест физически не наберёт нужную мощность к дедлайну
Хеширование session_id в бакеты неустойчиво между днями, поэтому один и тот же юзер каждый день меняет группу и эффект размывается
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.