Выбор ответа Middle Деревья и ансамбли спрашивают часто обновлено
Идея градиентного бустинга
Вопрос
Как градиентный бустинг строит ансамбль?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Последовательно: каждое новое дерево учится на антиградиенте потерь по текущим предсказаниям ансамбля. Для MSE антиградиент это просто остатки y - F(x), для других потерь псевдоостатки.
Варианты ответа
- Параллельно: независимые неглубокие деревья на бутстреп-выборках, затем взвешенное голосование по точности
- Одно глубокое дерево, которое на каждой итерации дообучается на ошибках, наращивая новые уровни
- Последовательно: каждое новое дерево учится на антиградиенте потерь по текущим предсказаниям ансамбляправильный ответ
- Деревья обучаются на разных подмножествах классов, а затем их ответы объединяются через softmax
Разбор
Для MSE антиградиент это просто остатки y - F(x), для других потерь псевдоостатки. Новое дерево добавляется с маленьким шагом (learning rate). Бустинг снижает bias, поэтому деревья в нём неглубокие, а переобучение контролируют числом деревьев, lr, глубиной, subsampling и early stopping.
- Параллельные независимые деревья это бэггинг и случайный лес.
- Дерево не дообучается, добавляются новые.
- Разделение по классам это один из способов мультиклассовой схемы, но не суть бустинга.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.