Градиентный бустинг изнутри

Представим, что мы оптимизируем функцию потерь не по весам, а по самим предсказаниям F(xᵢ) на обучающих объектах. Градиентный спуск сказал бы сдвинуть каждое предсказание против градиента ∂L/∂F(xᵢ). Но нам нужна функция, работающая и на новых x, поэтому мы обучаем дерево аппроксимировать этот антиградиент, псевдоостатки, и добавляем его к ансамблю с шагом η. Для MSE псевдоостатки это обычные остатки y - F, для log loss это y - p. XGBoost делает шаг точнее, используя разложение Тейлора второго порядка: для каждого листа суммирует градиенты G и вторые производные H по его объектам, оптимальное значение листа -G/(H + λ), а прирост от разбиения считается через G²/(H + λ) для детей и родителя минус штраф за лист γ. Вторая производная учитывает кривизну потерь, это как шаг Ньютона, и делает обновление адаптивным к уверенности. От переобучения защищают shrinkage, ограничения глубины, λ и γ, subsampling строк и колонок.