Выбор ответа Middle Векторы и матрицы обновлено
Мультиколлинеарность и нормальное уравнение
Вопрос
Линейную регрессию решают по формуле w = (XᵀX)⁻¹Xᵀy. В данных есть признак «цена в рублях» и тот же признак «цена в тысячах рублей». Что произойдёт?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: XᵀX станет вырожденной: обратной нет, решение неединственно. Один столбец X равен другому, умноженному на 1000, значит столбцы линейно зависимы, ранг X неполный, и XᵀX вырождена.
Варианты ответа
- Ничего: модель просто даст двум признакам одинаковые веса
- XᵀX станет вырожденной: обратной нет, решение неединственноправильный ответ
- Формула автоматически занулит вес одного из дубликатов
- Обучение пройдёт, но MSE на трейне заметно станет больше
Разбор
Один столбец X равен другому, умноженному на 1000, значит столбцы линейно зависимы, ранг X неполный, и XᵀX вырождена. Весов, дающих одинаковое минимальное MSE, бесконечно много. На практике спасают удаление признака, псевдообратная матрица или L2-регуляризация: (XᵀX + λI) всегда обратима при λ > 0.
- Одинаковых весов не будет: признаки в разном масштабе, и решение вообще неединственно.
- Сама формула ничего не удаляет.
- MSE на трейне не растёт: лишний линейно зависимый признак не ухудшает подгонку, он делает её неоднозначной.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.