Случайный лес против бустинга

Случайный лес строит много независимых глубоких деревьев: каждое на бутстреп-выборке и со случайным подмножеством признаков в разбиениях, а затем усредняет. Отдельные деревья имеют низкий bias и высокий variance, усреднение слабо коррелированных деревьев снижает variance. Добавление деревьев не приводит к переобучению, просто перестаёт помогать. Лес легко настроить, он хорошо параллелится и даёт OOB-оценку. Градиентный бустинг строит деревья последовательно: каждое новое учится на антиградиенте ошибки ансамбля и добавляется с маленьким шагом. Он снижает bias, поэтому деревья в нём неглубокие. Бустинг обычно даёт лучшее качество на табличных данных, но чувствительнее к гиперпараметрам и может переобучиться при слишком большом числе деревьев, поэтому нужен early stopping. На практике для табличных задач я начинаю с CatBoost или LightGBM, а лес использую как устойчивый бейзлайн.