Выбор ответа Middle kNN и SVM обновлено
Проклятие размерности
Вопрос
Почему kNN плохо работает на сырых данных с тысячами признаков?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: В высокой размерности расстояния до ближайшего и дальнего соседа почти равны, «близость» теряет смысл. Объём пространства растёт экспоненциально, данные становятся разреженными, а отношение расстояний до ближайшего и дальнего соседа стремится к 1 для многих распределений.
Варианты ответа
- В высокой размерности расстояния до ближайшего и дальнего соседа почти равны, «близость» теряет смыслправильный ответ
- kNN хранит расстояния в float16, и на тысячах признаков сумма квадратов разностей переполняется
- Число соседей k должно быть больше числа признаков, иначе голосование соседей вырождается
- В высокой размерности все признаки становятся сильно коррелированными, и расстояние многократно их дублирует
Разбор
Объём пространства растёт экспоненциально, данные становятся разреженными, а отношение расстояний до ближайшего и дальнего соседа стремится к 1 для многих распределений. Спасают снижение размерности, обученные эмбеддинги, отбор признаков, косинусная мера на нормированных векторах.
- Ограничений на величину чисел нет.
- k не связан с числом признаков.
- Корреляция признаков тут не причина.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.