Коротко: MDE (Minimum Detectable Effect, минимальный детектируемый эффект) — это наименьшая разница между группами A и B, которую тест способен надёжно заметить при заданных размере выборки, мощности и уровне значимости. Если реальный эффект меньше MDE — тест его, скорее всего, «не увидит» (ложноотрицательный результат).
MDE задают до запуска эксперимента: он отвечает на вопрос «какой минимальный прирост конверсии есть смысл искать на доступном трафике».
Что такое MDE простыми словами
Представь, что меняешь кнопку и надеешься поднять конверсию. Тест не может различить любую сколь угодно малую разницу — на маленькой выборке прирост в 0.1% утонет в шуме. MDE — это граница: эффекты больше MDE тест обнаружит с нужной вероятностью, эффекты меньше — пропустит.
Три вещи связаны жёстко:
- MDE — минимальный эффект, который ищем.
- n — размер выборки (сколько пользователей в каждой группе).
- Power (мощность, 1−β) — вероятность заметить эффект, если он есть (обычно 80%).
Хочешь ловить меньший MDE — нужна большая выборка. Меньше трафика — придётся согласиться на больший MDE.
Формула MDE для пропорций (конверсия, z-test)
Когда метрика — доля (конверсия, CTR, retention), используют нормальное приближение (z-тест двух пропорций). Минимальный детектируемый эффект в абсолютных пунктах:
MDE = (z_(1−α/2) + z_(1−β)) × √( 2 × p × (1 − p) / n )
где:
z_(1−α/2)— критическое значение для уровня значимости. Для α = 0.05 (двусторонний) это 1.96.z_(1−β)— для мощности. Для power = 80% это 0.84.p— базовая конверсия (доля в контрольной группе).n— размер одной группы.
Сумма (1.96 + 0.84) = 2.8 — её часто запоминают как константу для α=0.05 / power=80%.
Пример расчёта
База: конверсия p = 0.10 (10%), на группу есть n = 10 000 пользователей, α = 0.05, power = 80%.
2 × p × (1 − p) = 2 × 0.10 × 0.90 = 0.180.18 / 10000 = 0.000018√0.000018 ≈ 0.004243MDE = 2.8 × 0.004243 ≈ 0.0119
Итог: при 10 000 на группу тест надёжно поймает прирост конверсии примерно от +1.19 п.п. (с 10% до 11.19%). Меньший прирост — за гранью чувствительности.
Формула MDE для средних (выручка, чек, t-test)
Когда метрика непрерывная (средний чек, время на сайте, ARPU), пропорции не подходят — работаем со средними и стандартным отклонением через t-test:
MDE = (t_(1−α/2) + t_(1−β)) × √( 2 × σ² / n )
где σ² — дисперсия метрики, σ — стандартное отклонение. Для больших выборок t-значения практически совпадают с z (1.96 и 0.84).
Часто MDE для средних выражают в относительных процентах: MDE_% = MDE / μ, где μ — среднее в контроле.
Пример
Средний чек μ = 2000 ₽, σ = 1500 ₽, n = 5000 на группу:
2 × σ² / n = 2 × 1500² / 5000 = 2 × 2 250 000 / 5000 = 900√900 = 30MDE = 2.8 × 30 = 84 ₽
То есть надёжно различимый эффект — от +84 ₽ к чеку (≈ +4.2%).
Как вывести n из заданного MDE
На практике чаще решают обратную задачу: «какой MDE мне важен — сколько нужно выборки». Для пропорций:
n = (z_(1−α/2) + z_(1−β))² × 2 × p × (1 − p) / MDE²
Хочешь ловить эффект в 2 раза меньше — выборка нужна в 4 раза больше (MDE в квадрате в знаменателе). Это главная причина, почему «малые» улучшения требуют огромного трафика.
Частые ошибки с MDE
- Путают абсолютный и относительный MDE. +1 п.п. с базы 10% — это абсолютный MDE; +10% — относительный. Всегда уточняй единицы.
- Берут MDE из головы. MDE должен быть привязан к бизнес-смыслу: какой минимальный прирост окупает внедрение.
- Считают MDE после теста «чтобы оправдать незначимый результат». MDE задаётся до запуска (post-hoc power анализ вводит в заблуждение).
- Игнорируют дисперсию для средних. Для тяжёлохвостых метрик (выручка) σ огромна → MDE большой. Помогает CUPED или логарифмирование.
Где потренироваться
MDE, мощность и размер выборки — обязательная тема на собеседовании аналитика и продакта. Разбери их на практике:
- SQL-тренажёр — 545 задача с автопроверкой (когорты, конверсия, A/B-метрики).
- Бесплатный курс «SQL с нуля» — 10 уроков, считаем конверсию и метрики запросами.
- Метрика MDE с формулой и SQL — карточка в справочнике метрик.
- AI мок-собеседование — потренируй ответы про A/B и статистику с разбором.
Частые вопросы
Что такое MDE в A/B-тестах?
MDE (Minimum Detectable Effect, минимальный детектируемый эффект) — это наименьшая разница между группами A и B, которую тест способен надёжно заметить при заданных размере выборки, мощности и уровне значимости. Эффекты больше MDE тест обнаружит с нужной вероятностью, эффекты меньше — скорее всего пропустит (ложноотрицательный результат). MDE задают до запуска эксперимента: он отвечает на вопрос, какой минимальный прирост конверсии есть смысл искать на доступном трафике.
Как рассчитать MDE для конверсии по формуле?
Для метрик-долей (конверсия, CTR, retention) используют z-тест двух пропорций: MDE = (z_(1−α/2) + z_(1−β)) × √(2 × p × (1 − p) / n), где p — базовая конверсия в контроле, n — размер одной группы. Для α = 0.05 и мощности 80% сумма критических значений равна 1.96 + 0.84 = 2.8 — её часто запоминают как константу. Например, при базовой конверсии 10% и 10 000 пользователей на группу MDE ≈ 1.19 п.п., то есть тест надёжно поймает прирост с 10% до 11.19%.
Чем отличается расчёт MDE для средних (выручка, средний чек)?
Для непрерывных метрик вроде среднего чека или ARPU формула строится на дисперсии через t-test: MDE = (t_(1−α/2) + t_(1−β)) × √(2 × σ² / n), где σ — стандартное отклонение метрики; для больших выборок t-значения практически совпадают с z (1.96 и 0.84). Например, при среднем чеке 2000 ₽, σ = 1500 ₽ и 5000 пользователей на группу MDE = 2.8 × 30 = 84 ₽ (≈ +4.2%). Часто MDE для средних выражают в относительных процентах: MDE_% = MDE / μ, где μ — среднее в контроле.
Как определить размер выборки по заданному MDE?
На практике чаще решают обратную задачу: для пропорций n = (z_(1−α/2) + z_(1−β))² × 2 × p × (1 − p) / MDE². Поскольку MDE стоит в знаменателе в квадрате, чтобы ловить эффект в 2 раза меньше, выборка нужна в 4 раза больше. Именно поэтому «малые» улучшения требуют огромного трафика.
Какие типичные ошибки допускают при работе с MDE?
Путают абсолютный и относительный MDE: +1 п.п. с базы 10% — абсолютный, +10% — относительный, единицы всегда нужно уточнять. Берут MDE «из головы», хотя он должен быть привязан к бизнес-смыслу — какой минимальный прирост окупает внедрение. Считают MDE после теста, чтобы оправдать незначимый результат, — post-hoc power анализ вводит в заблуждение. Игнорируют дисперсию для средних: у тяжёлохвостых метрик вроде выручки σ огромна и MDE получается большим — помогает CUPED или логарифмирование.