Minimum Detectable Effect (MDE)

Минимальный размер эффекта, который тест способен обнаружить.

Что такое Minimum Detectable Effect (MDE)?

Минимальный размер эффекта, который тест способен обнаружить.

Формула

MDE = (z_alpha + z_beta) × sqrt(2 × p × (1-p) / n) / p

Как считать

Зависит от sample size, baseline rate, alpha и power.

Зачем нужна

Если реальный эффект < MDE, тест его не увидит. Определяет длительность теста.

SQL-запрос

-- Оценка MDE при текущем sample size
SELECT
  sample_per_group,
  baseline_rate,
  ROUND(100.0 * (1.96 + 0.84) * SQRT(2.0 * baseline_rate * (1 - baseline_rate) / sample_per_group)
    / baseline_rate, 2) AS mde_pct
FROM (VALUES (10000, 0.10), (50000, 0.10), (100000, 0.05)) AS t(sample_per_group, baseline_rate);

Частые вопросы

Что такое MDE простыми словами?

MDE (Minimum Detectable Effect) — минимальное изменение метрики, которое A/B-тест способен статистически значимо поймать при заданном размере выборки, уровне значимости и мощности. Чем меньше эффект хотим ловить, тем больше нужно трафика.

Как связаны MDE и размер выборки?

Обратная квадратичная зависимость: чтобы ловить эффект в 2 раза меньше, нужно примерно в 4 раза больше наблюдений. Поэтому перед тестом фиксируют MDE и считают необходимый sample size, а не наоборот.

Обновлено:
Открыть каталог метрик