Коротко: MAPE (Mean Absolute Percentage Error, средняя абсолютная процентная ошибка) — самая популярная метрика точности прогноза. Показывает, на сколько процентов в среднем прогноз отклоняется от факта. Главный плюс — интерпретируемость («ошибаемся на 8%»), главный минус — взрывается на значениях близких к нулю и штрафует перепрогноз сильнее недопрогноза.
Формула MAPE
MAPE = (100% / n) × Σ | (A_t − F_t) / A_t |
где A_t — фактическое значение, F_t — прогноз, n — число точек. Берём по каждой точке относительную абсолютную ошибку, усредняем, переводим в проценты.
Пример
| День | Факт (A) | Прогноз (F) | \ | A−F\ | /A |
|---|---|---|---|---|---|
| 1 | 100 | 90 | 0.10 | ||
| 2 | 200 | 240 | 0.20 | ||
| 3 | 50 | 45 | 0.10 |
MAPE = 100% × (0.10 + 0.20 + 0.10) / 3 = 100% × 0.40 / 3 ≈ 13.3%
Прогноз в среднем ошибается на ~13%.
Где MAPE ломается
- Нули и около-нулевые факты. Если
A_t = 0, деление на ноль → бесконечность. Любой спрос с нулевыми днями (новый SKU, сезонность) делает MAPE бесполезным. - Асимметрия. MAPE сильнее наказывает прогноз выше факта. Из-за этого модели, минимизирующие MAPE, склонны систематически занижать прогноз.
- Несопоставимость масштабов. На дешёвых товарах процентная ошибка раздувается, на дорогих — занижается.
WAPE — когда есть нули и разные масштабы
WAPE (Weighted Absolute Percentage Error), он же MAD/Mean ratio, делит сумму ошибок на сумму фактов, а не усредняет проценты:
WAPE = Σ |A_t − F_t| / Σ A_t
Для примера выше: (|100−90| + |200−240| + |50−45|) / (100+200+50) = (10+40+5) / 350 = 55/350 ≈ 15.7%.
WAPE не делит на каждый A_t по отдельности → устойчив к нулям и автоматически взвешивает по объёму (крупные позиции важнее). В ритейле и логистике WAPE часто предпочитают MAPE.
sMAPE — симметричный вариант
sMAPE (symmetric MAPE) кладёт в знаменатель полусумму факта и прогноза, чтобы убрать асимметрию:
sMAPE = (100% / n) × Σ ( |A_t − F_t| / ((|A_t| + |F_t|) / 2) )
Плюс — симметрия и ограниченность (0–200%). Минус — менее интуитивна и тоже капризна около нуля. Используется в соревнованиях по прогнозированию (например, M-серии).
Какую метрику выбрать
- MAPE — когда нужна понятная бизнесу цифра и в данных нет нулей.
- WAPE — когда есть нули, разные масштабы, важен объём (ритейл, спрос, склад).
- sMAPE — когда важна симметрия штрафа за пере/недопрогноз.
- В дополнение всегда смотри RMSE/MAE в абсолютных единицах — проценты скрывают масштаб ошибки.
Где потренироваться
- Python-тренажёр — 532 задачи (pandas, NumPy, метрики ошибок).
- Справочник метрик — формулы, примеры, SQL для расчёта.
- Бесплатный курс «SQL с нуля» — считаем агрегаты и отклонения запросами.
- AI мок-собеседование — вопросы про метрики качества моделей с разбором.
Частые вопросы
Что такое MAPE и как считается эта метрика?
MAPE (Mean Absolute Percentage Error) — средняя абсолютная процентная ошибка, самая популярная метрика точности прогноза. Формула: MAPE = (100% / n) × Σ |(A_t − F_t) / A_t|, где A_t — факт, F_t — прогноз, n — число точек. По каждой точке берётся относительная абсолютная ошибка, затем всё усредняется и переводится в проценты. Например, при ошибках 0.10, 0.20 и 0.10 за три дня MAPE ≈ 13.3% — прогноз в среднем ошибается на ~13%.
Почему MAPE нельзя использовать при нулевых значениях?
Если фактическое значение A_t = 0, в формуле MAPE происходит деление на ноль и метрика уходит в бесконечность. Любой спрос с нулевыми днями — новый SKU, сезонность — делает MAPE бесполезным. Кроме того, на дешёвых товарах процентная ошибка раздувается, а на дорогих занижается, поэтому масштабы становятся несопоставимыми.
Чем WAPE отличается от MAPE и когда его применять?
WAPE (Weighted Absolute Percentage Error) делит сумму абсолютных ошибок на сумму фактов, а не усредняет проценты по точкам: WAPE = Σ |A_t − F_t| / Σ A_t. Так как деления на каждый A_t нет, метрика устойчива к нулям и автоматически взвешивает по объёму — крупные позиции важнее. В ритейле и логистике WAPE часто предпочитают MAPE.
Зачем нужен sMAPE, если уже есть MAPE?
MAPE асимметрична: она сильнее наказывает прогноз выше факта, из-за чего модели, минимизирующие MAPE, склонны систематически занижать прогноз. sMAPE убирает эту асимметрию, кладя в знаменатель полусумму факта и прогноза: sMAPE = (100% / n) × Σ (|A_t − F_t| / ((|A_t| + |F_t|) / 2)). Плюсы — симметрия и ограниченность диапазоном 0–200%; минусы — метрика менее интуитивна и тоже капризна около нуля. Используется в соревнованиях по прогнозированию, например в M-серии.
Какую метрику точности прогноза выбрать: MAPE, WAPE или sMAPE?
MAPE — когда нужна понятная бизнесу цифра и в данных нет нулей. WAPE — когда есть нули, разные масштабы и важен объём: ритейл, спрос, склад. sMAPE — когда важна симметрия штрафа за перепрогноз и недопрогноз. В дополнение всегда стоит смотреть RMSE/MAE в абсолютных единицах — проценты скрывают масштаб ошибки.