Выбор ответа Senior Постановка задачи обновлено
Неустранимая ошибка
Вопрос
Две модели на одних данных дают RMSE 10.2 и 10.1, а повторная разметка тех же объектов разными людьми расходится примерно на RMSE 10. Какой вывод?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Модели упёрлись в шум разметки; дальше выгоднее улучшать данные, а не модель. Разброс разметчиков задаёт оценку неустранимой ошибки (Bayes error).
Варианты ответа
- Нужно взять модель сложнее: разрыв до идеальной нулевой ошибки ещё очень большой
- Это переобучение на шуме разметки, нужно усилить регуляризацию и добавить dropout
- Модели упёрлись в шум разметки; дальше выгоднее улучшать данные, а не модельправильный ответ
- RMSE нужно заменить на MAE: она устойчива к шуму, и ошибка разметки перестанет мешать
Разбор
Разброс разметчиков задаёт оценку неустранимой ошибки (Bayes error). Модели почти достигли её, оставшийся зазор крошечный. Значимые улучшения дадут уточнение разметки, новые информативные признаки или переформулировка задачи.
- Сложность модели не уберёт шум цели.
- Переобучение видно по разрыву трейн и валидации, о нём тут ничего не сказано.
- Смена метрики не уменьшает шум, она лишь меняет его измерение.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.