Вывод дисперсии ratio через Taylor expansion, формула и Python.
Первичные и вторичные метрики, guardrail, CUPED, дельта-метод, стратификация, постстратификация, OEC и примеры метрик для e-commerce.
Ключевые темы: метрики, guardrail, CUPED, OEC, North Star, proxy, дельта-метод, стратификация.
Дельта-метод — это приём для оценки дисперсии и доверительного интервала величин, которые являются отношением или нелинейной функцией средних: конверсии на пользователя, среднего чека на сессию. Когда единица анализа (пользователь) не совпадает с единицей метрики (заказ или клик), наблюдения внутри пользователя зависимы, и обычная формула дисперсии даёт неверный результат. Дельта-метод аппроксимирует нелинейную метрику линейно и корректно учитывает эту структуру.
Где применяется в аналитике: Применяется в A/B-тестах для ratio-метрик: CTR, конверсия в покупку, средние величины на пользователя, когда измерения сгруппированы. Помогает строить правильные доверительные интервалы и p-значения там, где наивный подход завышает значимость.
На собеседовании: Спрашивают senior-аналитиков, чтобы проверить понимание зависимых наблюдений и единицы рандомизации. Смотрят, видит ли кандидат проблему ratio-метрик и знает ли способы её решения, например дельта-метод или бутстрап по пользователям.
В Pro-подписке по этому конспекту получите: