Выбор ответа Middle Признаки и интерпретация спрашивают часто обновлено
Утечка в target encoding
Вопрос
Target encoding заменяет категорию средним таргетом по ней. Как его правильно считать для обучающей выборки?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Вне фолда (out-of-fold) или по «прошлым» объектам, со сглаживанием к глобальному среднему. Если объект участвует в среднем своей категории, у редких категорий кодировка почти равна его собственной метке, и модель учится на утечке.
Варианты ответа
- Вне фолда (out-of-fold) или по «прошлым» объектам, со сглаживанием к глобальному среднемуправильный ответ
- Средним таргетом по всему трейну, включая сам объект: так у каждой категории максимум данных и кодировка стабильнее
- Средним таргетом по тестовой выборке, чтобы кодировка отражала то распределение, на котором модель будет работать
- Медианой таргета вместо среднего: медиана устойчива к выбросам, поэтому собственная метка объекта на неё не влияет
Разбор
Если объект участвует в среднем своей категории, у редких категорий кодировка почти равна его собственной метке, и модель учится на утечке. Решение: считать по другим фолдам или по предыдущим объектам (как в CatBoost), плюс сглаживание (n·mean_cat + m·global) / (n + m), чтобы редкие категории тянулись к общему среднему.
- Включение самого объекта и есть утечка.
- На тесте таргета нет и использовать его нельзя.
- Медиана не убирает утечку.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.