Когда switchback-дизайн может быть предпочтительнее user-level randomization?

Вопрос с собеседования аналитика по теме «A/B тесты».

Варианты ответа

• Когда сильные сетевые эффекты и высокий spillover
• Когда хотим полностью убрать сезонность
• Когда юниты влияют друг на друга в одном временном окне
• Когда доступна только календарная рандомизация

Как разобрать этот вопрос на собеседовании

Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.

Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.

Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «A/B тесты»

• Как корреляция ковариаты ρ связана со снижением дисперсии в CUPED? Приведи формулу и сравни ρ = 0.5 и ρ = 0.7.
• A/B-тест с запланированным сплитом 50/50. В контроль попало 10 250 пользователей, в тест — 9 750. Аналитик запускает SRM-проверку (критерий согласия χ²). Что делать с результатами теста?
• Как проверить SRM в многорукавном тесте с НЕРАВНЫМ сплитом 50/25/25? Разбери на счётчиках: контроль 15 000, вариант A 7 400, вариант B 7 600 (итого 30 000).
• В тесте смотрят 5 метрик (конверсия, ARPU, retention D7, средний чек, глубина сессии). Хотят держать общий FWER на уровне 0.05 поправкой Бонферрони. Какой порог значимости применяют к каждой метрике?
• Почему «подглядывание» (peeking) раздувает долю ложноположительных и как грубо поправить α, если аналитик планирует 4 промежуточных взгляда при α=0.05? Чем это отличается от корректного секвенциального подхода?
• 5 метрик, p-values: 0.002, 0.01, 0.025, 0.04, 0.06. Контролируем FDR на уровне 0.05 процедурой Бенджамини–Хохберга. Сколько гипотез отклоняем и чем результат отличается от Бонферрони?
• Разбери step-up логику BH: почему гипотеза с p=0.021 отклоняется, хотя индивидуально 0.021 > своего порога? p-values: 0.001, 0.021, 0.022, 0.023, 0.049, FDR=0.05.
• В A/B-тесте нового баннера рандомизацию сделали на уровне сессии, хотя основная метрика — конверсия пользователя в покупку. Почему это ловушка?

Тестовые задания

• Sample size и MDE для A/B-теста конверсии
• Дельта-метод для ratio-метрики (выручка на клик)

Полезные блог-статьи по теме

• Guardrail-метрики в A/B тесте: что это и зачем
• dbt Tests: generic, custom и dbt-utils с примерами