Выбор ответа Middle Деревья и ансамбли обновлено
Learning rate и число деревьев
Вопрос
В градиентном бустинге уменьшили learning rate с 0.1 до 0.01. Что надо сделать с числом деревьев?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Увеличить примерно в 10 раз (по early stopping): маленькие шаги требуют больше итераций, но дают лучшее качество. Learning rate (shrinkage) масштабирует вклад каждого дерева.
Варианты ответа
- Уменьшить примерно в 10 раз: с маленьким шагом каждое дерево точнее, и для того же качества нужно меньше деревьев
- Оставить прежним: learning rate влияет только на скорость сходимости внутри дерева, а не на число итераций
- Оставить одно дерево: при маленьком шаге оно аккуратно подгонит данные само, а ансамбль только переобучит
- Увеличить примерно в 10 раз (по early stopping): маленькие шаги требуют больше итераций, но дают лучшее качествоправильный ответ
Разбор
Learning rate (shrinkage) масштабирует вклад каждого дерева. Чем он меньше, тем больше деревьев нужно для того же качества, зато ансамбль обобщает лучше. Типичная практика: зафиксировать lr поменьше и подобрать число деревьев по early stopping на валидации.
- Уменьшение числа деревьев при меньшем lr приведёт к недообучению.
- Параметры тесно связаны.
- Одно дерево с маленьким шагом почти ничего не выучит.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.