Как работает метод Difference-in-Differences (DiD) и когда его применять?

Вопрос с собеседования аналитика по теме «A/B тесты».

Варианты ответа

• Считается как разница между двумя разными метриками (revenue − cost) до и после запуска — показывает net effect изменения на финансовые показатели без контрольной группы
• DiD применим только для бинарных метрик (конверсия, retention = 0/1), так как для непрерывных метрик разница разниц статистически не состоятельна из-за нарушения гомоскедастичности
• Сравниваем изменение метрики ДО и ПОСЛЕ между treatment и control группами: delta = (Y_treat_post - Y_treat_pre) - (Y_ctrl_post - Y_ctrl_pre). Применяется когда рандомизация невозможна
• Метод вычитания одного A/B-теста из другого при последовательном запуске двух экспериментов — позволяет выделить чистый эффект второго теста, компенсируя влияние первого

Как разобрать этот вопрос на собеседовании

Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.

Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.

Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «A/B тесты»

• Запустили A/B. После 2 недель: CTR в treatment вырос на +8% (stat.sig.), но DAU упал на -2% (stat.sig.). Что значит и что рекомендуешь?
• Как рассчитать размер выборки для A/B теста? Какие параметры нужны?
• Что такое статистическая мощность (power) и почему важна?
• Что такое stratified sampling и когда он нужен в A/B-тестах?
• Запустили A/B на 50/50. Через 2 недели оказалось что в treatment в 1.5 раза больше юзеров. Что случилось и что делать?
• В A/B-тесте новая фича в первые дни даёт всплеск, который потом спадает, а в другом тесте эффект наоборот медленно разгоняется. Как называются эти два эффекта и как с ними бороться, чтобы не принять ложное решение?
• A/B-тест долго копит мощность из-за высокой дисперсии метрики. Как использовать предэкспериментальные данные пользователя, чтобы сократить дисперсию и ускорить тест, и как этот приём называется?
• Как ты тестируешь фичу которая аффектит только малую часть юзеров (например, новый paywall видят только 5% — те кто дошёл до limit)?

Тестовые задания

• Sample size и MDE для A/B-теста конверсии
• Дельта-метод для ratio-метрики (выручка на клик)

Полезные блог-статьи по теме

• Guardrail-метрики в A/B тесте: что это и зачем
• dbt Tests: generic, custom и dbt-utils с примерами
• Difference-in-Differences (DiD): SQL и Python примеры