Causal Inference курс — причинно-следственный анализ для аналитика
Содержание (5 разделов)
Когда A/B-тест не работает и нужен causal
Типичные ситуации в продукте:
- Изменение цены — нельзя дискриминировать пользователей
- Региональный запуск фичи — A/B по регионам невозможен (география коррелирует с поведением)
- Изменение, которое уже сделали в прошлом — A/B уже не провести
- Эффект от внешнего шока (пандемия, новый закон) — нет контрольной группы
- Эффекты с большим временем — A/B на 1 год нерентабельно ждать
Главные методы Causal Inference
5 методов, которые покрывают 90% задач:
| Метод | Когда использовать | Сложность |
|---|---|---|
| DiD (Difference-in-Differences) | Региональный запуск, before-after с контрольной группой | Средняя |
| PSM (Propensity Score Matching) | Сравнить tw группы с разными характеристиками | Средняя |
| IV (Instrumental Variables) | Endogeneity — confounder неизвестен | Высокая |
| RDD (Regression Discontinuity) | Есть резкий порог (возраст 18, балл 70) | Средняя |
| Synthetic Control | Региональный запуск, один treatment-регион | Высокая |
DiD (Difference-in-Differences) пример
Самый частый метод, понятный без матстата:
- Пример: Yandex запустил новую тарификацию такси в Москве, но не в СПб
- Гипотеза: новая тарификация увеличит выручку на 10%
- Шаги: сравни выручку до/после в Москве И до/после в СПб
- Если в Москве выручка выросла на 15%, а в СПб (без изменения) на 5%, то эффект тарификации = 15% - 5% = 10%
- Главное допущение: parallel trends — без изменения выручка в Москве и СПб росла бы одинаково
PSM (Propensity Score Matching) пример
Подходит чтобы сравнить группу A и не-сравнимую группу B:
- Пример: оценить эффект подписки на удержание пользователя
- Подписавшиеся — не случайная выборка: они активнее и платёжеспособнее
- PSM: для каждого подписчика найти "близнеца" среди не-подписчиков с похожим поведением (возраст, активность, регион)
- Сравнить retention близнецов — это и есть эффект подписки
- Реализация: scikit-learn (logistic regression) + nearest neighbor matching
Где учиться Causal Inference
Реальные ресурсы для самообразования:
- The Mixtape (Scott Cunningham) — бесплатная книга на mixtape.scunning.com, простым языком
- Causal Inference for The Brave and True (Matheus Facure) — Python-практика на GitHub
- Mastering Metrics (Angrist & Pischke) — классика, академический стиль
- CausalML library (Python) — Uber, готовые методы DiD/PSM/IV
- EconML library (Microsoft) — heterogeneous treatment effects
Что изучить дальше
- A/B тесты — когда они работают
- Статистика курс (пререквизит)
- Теория вероятностей курс
- Python курс
- Data Analyst карьера
Частые вопросы
Можно ли Causal Inference без матстата?
Минимум линейной регрессии и гипотез тестирования нужен. С нуля — сначала курс по статистике, потом CI. Без базы запутаешься в допущениях методов.
DiD или Synthetic Control?
DiD проще и подходит когда есть много контрольных групп. SC — когда только одна treatment-группа и нужно построить «синтетический контроль» из взвешенной комбинации других регионов.
Что такое confounder?
Confounder (запутывающая переменная) — переменная, которая влияет и на X, и на Y. Например, возраст влияет на доход и на покупки. Если её не учесть, эффект X на Y оценится неверно.
IV — самый сложный метод?
Да, самый требовательный. Нужно найти «инструмент» — переменную, которая влияет на X, но не на Y напрямую. Найти такой инструмент в реальных данных тяжело.
CI заменяет A/B тесты?
Нет, дополняет. A/B остаётся золотым стандартом когда возможен. CI — когда A/B невозможен или дорог.