Как учитывать множественные метрики в отчете по тесту?

Вопрос с собеседования аналитика по теме «A/B тесты».

Варианты ответа

• Игнорировать guardrail-метрики, чтобы они не мешали выкатить экспериментальный вариант в прод
• Просто повысить альфа для всех метрик, чтобы больше результатов становилось статистически значимыми
• Заранее разделить метрики на primary, guardrails и вторичные, а при большом числе проверок применять корректировки p-value (FDR/Bonferroni и т.п.)
• Считать все метрики primary и принимать решения по любой, которая оказалась значимой, без поправок

Как разобрать этот вопрос на собеседовании

Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.

На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.

Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «A/B тесты»

• Объясни разницу между ошибками I и II рода и что такое мощность теста. Как выбор α и мощности влияет на бизнес-решение?
• Что такое peeking (подглядывание) в A/B-тестах и почему остановка теста в момент, когда p-value впервые стало < 0.05, некорректна? Как правильно смотреть на промежуточные результаты?
• Что такое CUPED и как он помогает A/B-тесту? Приведи формулу скорректированной метрики.
• Почему выбор единицы рандомизации (пользователь vs сессия vs запрос) критичен? Приведи пример, когда рандомизация по сессии ломает тест.
• Основная метрика в тесте выросла и стат-значима, но guardrail-метрика (например, время загрузки или отписки) ухудшилась. Как принимать решение? Зачем вообще нужны guardrail-метрики?
• Каким статистическим тестом проверяют SRM (Sample Ratio Mismatch) — расхождение фактического распределения пользователей по группам с ожидаемым?
• Что такое статистическая мощность A/B-теста?
• Как изменится необходимый размер выборки, если требуемый MDE уменьшить в 2 раза, а α, мощность и дисперсию оставить прежними?

Тестовые задания

• Sample size и MDE для A/B-теста конверсии
• Дельта-метод для ratio-метрики (выручка на клик)

Полезные блог-статьи по теме

• Guardrail-метрики в A/B тесте: что это и зачем
• dbt Tests: generic, custom и dbt-utils с примерами