Выбор ответа Senior kNN и SVM обновлено
Гамма RBF-ядра
Вопрос
SVM с RBF-ядром даёт почти 100% на трейне и плохое качество на валидации. Какой параметр вероятнее всего слишком большой?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: γ (gamma): ядро очень узкое, каждый объект влияет только на свою окрестность. K(x, x') = exp(-γx - x'²).
Варианты ответа
- Число опорных векторов: чем их больше, тем сильнее модель запоминает трейн
- γ (gamma): ядро очень узкое, каждый объект влияет только на свою окрестностьправильный ответ
- Размер кэша ядра: большой кэш хранит матрицу ядра и ведёт к переобучению
- Степень полиномиального ядра, равная 1: модель слишком гибкая для этих данных
Разбор
K(x, x') = exp(-γ|x - x'|²). При большом γ ядро почти нулевое уже на небольшом расстоянии, и модель превращается в запоминание, похожее на 1-NN. Уменьшение γ и C сглаживает границу. Их подбирают вместе по логарифмической сетке.
- Число опорных векторов это следствие, а не гиперпараметр.
- Кэш влияет на скорость.
- Полиномиальное ядро степени 1 это линейная модель, переобучение у неё слабее.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.