Выбор ответа Middle Постановка задачи спрашивают часто обновлено
Bias и variance
Вопрос
Как связаны сложность модели, смещение (bias) и разброс (variance)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: С ростом сложности bias обычно падает, а variance растёт; ошибка на тесте минимальна посередине. Простая модель систематически ошибается (высокий bias), сложная сильно меняется от выборки к выборке (высокий variance).
Варианты ответа
- С ростом сложности падают и bias, и variance, поэтому самая сложная модель почти всегда лучшая
- Сложность влияет только на bias, а variance определяется размером выборки и шумом в разметке
- С ростом сложности bias обычно падает, а variance растёт; ошибка на тесте минимальна посерединеправильный ответ
- Bias и variance не зависят от модели, только от данных: это свойства распределения, а не алгоритма
Разбор
Простая модель систематически ошибается (высокий bias), сложная сильно меняется от выборки к выборке (высокий variance). Ожидаемая ошибка MSE раскладывается в bias² + variance + неустранимый шум. Классическая U-кривая ошибки на тесте отсюда.
- Одновременно оба не падают в классической картине (у сильно перепараметризованных нейросетей бывает double descent, но это отдельная история).
- Сложность влияет на оба слагаемых.
- Модель напрямую определяет оба.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.