Выбор ответа Middle Метрики качества обновлено
Проблема MAPE
Вопрос
Прогнозируем продажи товаров, у многих бывают дни с нулевыми продажами. Почему MAPE здесь плох?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Деление на факт: при нуле метрика не определена, при малых значениях взрывается; штраф асимметричен. MAPE = среднее y - ŷ / y.
Варианты ответа
- Деление на факт: при нуле метрика не определена, при малых значениях взрывается; штраф асимметриченправильный ответ
- MAPE определена только для непрерывных величин, для штучных продаж (целых чисел) она смещена
- MAPE слишком сильно штрафует ошибки на товарах с большими продажами, и модель подгоняется под хиты продаж
- На днях с нулевыми продажами MAPE равна нулю при любом прогнозе, и эти дни выпадают из оценки
Разбор
MAPE = среднее |y - ŷ| / |y|. При y = 0 деление невозможно, при y = 1 ошибка в 5 единиц даёт 500%. Кроме того, при неотрицательных прогнозах занижение штрафуется не больше 100%, а завышение без ограничений. Альтернативы: WAPE (сумма модулей ошибок на сумму факта), sMAPE, MAE, взвешенные по деньгам метрики.
- Для целых чисел считается.
- Большие значения в знаменателе, наоборот, штрафуются слабо.
- При нуле метрика не определена.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.