Что такое Minimum Detectable Effect (MDE)?
Минимальный размер эффекта, который тест способен обнаружить.
Формула
MDE = (z_alpha + z_beta) × sqrt(2 × p × (1-p) / n) / pКак считать
Зависит от sample size, baseline rate, alpha и power.
Зачем нужна
Если реальный эффект < MDE, тест его не увидит. Определяет длительность теста.
SQL-запрос
-- Оценка MDE при текущем sample size
SELECT
sample_per_group,
baseline_rate,
ROUND(100.0 * (1.96 + 0.84) * SQRT(2.0 * baseline_rate * (1 - baseline_rate) / sample_per_group)
/ baseline_rate, 2) AS mde_pct
FROM (VALUES (10000, 0.10), (50000, 0.10), (100000, 0.05)) AS t(sample_per_group, baseline_rate);Частые вопросы
Что такое MDE простыми словами?
MDE (Minimum Detectable Effect) — минимальное изменение метрики, которое A/B-тест способен статистически значимо поймать при заданном размере выборки, уровне значимости и мощности. Чем меньше эффект хотим ловить, тем больше нужно трафика.
Как связаны MDE и размер выборки?
Обратная квадратичная зависимость: чтобы ловить эффект в 2 раза меньше, нужно примерно в 4 раза больше наблюдений. Поэтому перед тестом фиксируют MDE и считают необходимый sample size, а не наоборот.