Что делать с сетевыми эффектами (network effects) в A/B тесте?
A/B тестыhardsenior
Вопрос с собеседования аналитика по теме «A/B тесты».
quiz-bankab-testnetwork-effects
Варианты ответа
Игнорировать — при достаточной выборке network-эффекты усреднятся по обеим группам симметрично, и оценка treatment effect останется корректной по закону больших чисел
Увеличить выборку в 10 раз — это компенсирует контаминацию между группами и восстановит валидность оценок за счёт снижения дисперсии и повышения мощности теста
Использовать только байесовский подход — Bayesian inference естественно учитывает сетевые зависимости через иерархические модели, поэтому SUTVA становится не нужной
Использовать кластерную рандомизацию (по городам, графам), switchback-дизайн или ego-network рандомизацию, т.к. стандартный user-level сплит даёт смещённую оценку
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.