Выбор ответа Junior Постановка задачи обновлено
Зачем бейзлайн
Вопрос
Зачем перед сложной моделью строить простой бейзлайн (константа, правило, линейная модель)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Чтобы понять, даёт ли сложная модель реальный прирост, и найти ошибки в данных и пайплайне. Бейзлайн задаёт точку отсчёта: если градиентный бустинг лучше константы на 0.5%, возможно, задача не стоит усилий.
Варианты ответа
- Чтобы понять, даёт ли сложная модель реальный прирост, и найти ошибки в данных и пайплайнеправильный ответ
- Бейзлайн в итоге обычно выкатывают в продакшен вместо модели, потому что он проще в поддержке
- Чтобы поднять метрику на лидерборде: ансамбль бейзлайна со сложной моделью почти всегда сильнее
- Бейзлайн нужен только в регрессии, где константа-среднее даёт точку отсчёта для RMSE и R²
Разбор
Бейзлайн задаёт точку отсчёта: если градиентный бустинг лучше константы на 0.5%, возможно, задача не стоит усилий. Ещё он быстро проверяет пайплайн: подозрительно высокое качество простой модели часто означает утечку.
- В прод бейзлайн идёт, только если оказался достаточным.
- Лидерборд тут ни при чём, и смешивать бейзлайн в ансамбль незачем.
- Бейзлайн нужен в любой задаче: для классификации это мажоритарный класс или простое правило.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.