A/A-тест дал статзначимое различие (p<0.05). Что это значит?

Вопрос с собеседования аналитика по теме «A/B тесты».

Варианты ответа

• Это случайное событие, ожидаемое в 5% случаев — продолжаем тест
• Систематическая проблема в randomization или sample assignment
• Метрика плохо выбрана для текущего сегмента — нужно поменять
• Эксперимент работает корректно — A/A всегда даёт случайный шум

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «A/B тесты»

• Как применить дельта-метод для метрики конверсии?
• Объясните идею switchback теста с примерами.
• Как проводить CUPED на практике?
• Что такое switch-over bias и как его избежать?
• Зачем нужна стратификация при рандомизации?
• Что такое sequential probability ratio test (SPRT)?
• Как скорректировать метрику retention с помощью линеаризации?
• Что помогает контролировать сезонность в эксперименте?

SQL-задачи по теме

• Проверка SRM (Sample Ratio Mismatch)
• Yandex Метрика: SRM-чек для A/B-теста
• Sample Ratio Mismatch проверка

Тестовые задания

• Базовый A/B-тест кнопки «Купить»
• Расчёт размера выборки для A/B-теста

Полезные блог-статьи по теме

• dbt Tests: generic + custom + dbt-utils (полный гайд с примерами)