Выбор ответа Junior kNN и SVM спрашивают часто обновлено
Влияние k в kNN
Вопрос
Как число соседей k влияет на модель kNN?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Маленькое k даёт сложную шумную границу (variance), большое сглаживает её (bias). При k = 1 модель запоминает каждый объект трейна, ошибка на трейне нулевая, граница рваная.
Варианты ответа
- Большое k лучше: больше соседей дают больше информации, и variance только снижается
- k влияет только на скорость предсказания, а качество kNN от него практически не меняется
- Маленькое k даёт сложную шумную границу (variance), большое сглаживает её (bias)правильный ответ
- Маленькое k даёт недообучение: модели не хватает соседей, чтобы уловить закономерность
Разбор
При k = 1 модель запоминает каждый объект трейна, ошибка на трейне нулевая, граница рваная. При k = n модель предсказывает мажоритарный класс для всех. Оптимум подбирают кросс-валидацией, для бинарной задачи часто берут нечётное k, чтобы не было ничьих.
- Слишком большое k размывает локальную структуру.
- Качество сильно зависит от k.
- Маленькое k это как раз переобучение.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.