Карточка Junior Валидация и утечки обновлено

Утечка данных

Вопрос

Что такое утечка данных (data leakage)?

Попробуйте сами

Ответьте про себя или вслух, потом откройте ответ и сверьтесь.

Показать ответ и разбор

Коротко

Ситуация, когда при обучении или валидации модель получает информацию, недоступную в момент реального прогноза: признаки из будущего, следствия целевой переменной, статистики валидации в препроцессинге, одни и те же сущности в трейне и валидации. Даёт завышенные офлайн-метрики и провал в проде.

Ответ

Ситуация, когда при обучении или валидации модель получает информацию, недоступную в момент реального прогноза: признаки из будущего, следствия целевой переменной, статистики валидации в препроцессинге, одни и те же сущности в трейне и валидации. Даёт завышенные офлайн-метрики и провал в проде.

Разбор

Ситуация, когда при обучении или валидации модель получает информацию, недоступную в момент реального прогноза: признаки из будущего, следствия целевой переменной, статистики валидации в препроцессинге, одни и те же сущности в трейне и валидации. Даёт завышенные офлайн-метрики и провал в проде.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.