Выбор ответа Senior Рекомендательные системы обновлено
Офлайн против онлайна
Вопрос
Новая модель рекомендаций лучше по офлайн NDCG на исторических логах, но в A/B не растёт выручка. Почему такое бывает?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Логи собраны старой системой (смещение по показам), офлайн-метрика не видит влияния на поведение. В логах видно только то, что показала старая модель (exposure bias, петля обратной связи).
Варианты ответа
- Логи собраны старой системой (смещение по показам), офлайн-метрика не видит влияния на поведениеправильный ответ
- A/B-тесты для рекомендаций не работают: пользователи из групп видят друг друга, и эффект размывается
- Ошибка в подсчёте NDCG: при корректном расчёте офлайн-прирост переносится в A/B один к одному
- Новая модель обязательно переобучилась на исторических логах, раз офлайн она лучше, а онлайн нет
Разбор
В логах видно только то, что показала старая модель (exposure bias, петля обратной связи). Офлайн угадывание следующей покупки поощряет рекомендации того, что купили бы и так, а онлайн ценен прирост. Плюс метрика может не совпадать с целью (клики против выручки, краткосрочное против удержания). Помогают контрфактическая оценка (IPS), метрики разнообразия и новизны, интерливинг, а финальный арбитр A/B.
- A/B работают, это главный инструмент.
- Причин много, ошибка подсчёта лишь одна из возможных.
- Переобучение не единственное и не главное объяснение.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.