Когда использовать метрику uplift per user?

Вопрос с собеседования аналитика по теме «A/B тесты».

Варианты ответа

• Когда интересуют редкие события (например, покупки) и важно усреднить эффект по пользователям, включая тех, у кого значение метрики равно нулю
• Если целевая метрика бинарная, независимо от частоты событий и структуры данных
• Всегда использовать uplift per user для любых метрик, даже когда у всех пользователей есть события
• Никогда не использовать такую метрику, так как она только усложняет интерпретацию результатов

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «A/B тесты»

• Как применить дельта-метод для метрики конверсии?
• Объясните идею switchback теста с примерами.
• Как проводить CUPED на практике?
• Что такое switch-over bias и как его избежать?
• Зачем нужна стратификация при рандомизации?
• Что такое sequential probability ratio test (SPRT)?
• Как скорректировать метрику retention с помощью линеаризации?
• Что помогает контролировать сезонность в эксперименте?

Тестовые задания

• Базовый A/B-тест кнопки «Купить»
• Расчёт размера выборки для A/B-теста

Полезные блог-статьи по теме

• dbt Tests: generic + custom + dbt-utils (полный гайд с примерами)