Ты применила t-test на данных revenue, и в A/A-симуляции на 10000 итераций получаешь FPR=0.13 при α=0.05. Что это значит и что делать?

Проверяет статистическое мышление: гипотезы, распределения, ошибки I/II рода.

Варианты ответа

• Критерий поломан: реальная доля ложных срабатываний ~13% вместо 5%. Скорее всего тяжёлые хвосты у revenue ломают CLT — лечится log-преобразованием, bootstrap или Mann-Whitney
• Это нормально для малой выборки — увеличить N в группах и FPR упадёт автоматически до целевых 5% за счёт центральной предельной теоремы
• FPR не должна совпадать с α в принципе — α это теоретический уровень, FPR это эмпирика, расхождение в 2-3 раза допустимо в любых условиях
• Это значит что в данных есть реальный эффект и H0 ложна, поэтому критерий и срабатывает чаще — нужно смотреть на эффект и не на FPR

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Конспекты по статистике и A/B →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «Статистика»

• Чем отличаются выборка и генеральная совокупность?
• Что такое медиана и чем она полезна?
• Поясните доверительный интервал средней.
• Что такое p-value и как его интерпретировать?
• Разница между типами ошибок I и II рода?
• Как проверить нормальность распределения?
• Что такое бутстрэп и зачем он нужен?
• Как рассчитать корреляцию Пирсона и когда она подходит?

SQL-задачи по теме

• Anomaly detection: z-score выручки по дням

Тестовые задания

• Доверительный интервал для конверсии
• z-тест двух пропорций: значима ли разница в A/B

Полезные блог-статьи по теме

• A/B-тесты в Python: scipy.stats и расчёт значимости
• Калькулятор Sample Size A/B-теста
• CUPED для аналитика: variance reduction в A/B-тестах с Python кодом