Что такое вероятность превосходства в байесовском тесте?

Вопрос с собеседования аналитика по теме «A/B тесты».

Варианты ответа

• Это P(effect > 0 | данные), то есть вероятность, что эффект положителен с учётом наблюдений
• Это выбранный уровень значимости альфа для теста
• Это минимальный детектируемый эффект (MDE), заложенный в план эксперимента
• Это p-value, то есть вероятность получить такие или более экстремальные данные при верной H0

Как разобрать этот вопрос на собеседовании

Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.

На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.

Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «A/B тесты»

• На новой фиче в первую неделю теста CTR в тестовой группе +18%, но к третьей неделе эффект тает до +2% и нестабилен. Пользователи одни и те же на всём периоде. Как это правильно интерпретировать?
• Sequential-тест с alpha-spending уже идёт, промежуточная граница на первом взгляде не пройдена. Продакт торопит: «давай снизим границу, чтобы засчитать раньше». Почему нельзя менять правило остановки по ходу?
• Тест выявил статзначимый эффект +0.3% к конверсии, p=0.01, n = 2 млн на группу. Продакт хочет катить. Какой вопрос важнее статзначимости при таком объёме выборки?
• Как связаны размер выборки, MDE, мощность и уровень значимости при планировании A/B-теста? Что произойдёт с нужным N, если уменьшить MDE вдвое?
• Объясни разницу между ошибками I и II рода и что такое мощность теста. Как выбор α и мощности влияет на бизнес-решение?
• Что такое peeking (подглядывание) в A/B-тестах и почему остановка теста в момент, когда p-value впервые стало < 0.05, некорректна? Как правильно смотреть на промежуточные результаты?
• Что такое CUPED и как он помогает A/B-тесту? Приведи формулу скорректированной метрики.
• Почему выбор единицы рандомизации (пользователь vs сессия vs запрос) критичен? Приведи пример, когда рандомизация по сессии ломает тест.

Тестовые задания

• Sample size и MDE для A/B-теста конверсии
• Дельта-метод для ratio-метрики (выручка на клик)

Полезные блог-статьи по теме

• Guardrail-метрики в A/B тесте: что это и зачем
• dbt Tests: generic, custom и dbt-utils с примерами