Где в ML живёт KL
Вопрос
Где в машинном обучении используется KL-дивергенция? Назовите несколько мест и объясните, почему именно она.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Связь с кросс-энтропией и MLE
VAE: KL между апостериором кодировщика и приором
Дистилляция: KL между распределениями учителя и ученика с температурой
RLHF и PPO: штраф за уход политики от исходной модели
Мониторинг: дрейф распределений признаков и предсказаний (с оговорками про нули)
Что могут спросить следом
- Почему в мониторинге часто берут PSI или JS вместо KL?
- Почему в VAE KL считается аналитически?
Разбор
Во-первых, вся классификация: минимизация кросс-энтропии равна минимизации KL(p‖q) от распределения данных до модели, то есть MLE. Во-вторых, вариационный вывод и VAE: в ELBO есть слагаемое KL(q(z|x)‖p(z)), которое держит кодировщик близко к приору. Для двух гауссиан его считают по формуле, без сэмплирования. В-третьих, дистилляция: ученик минимизирует KL между смягчёнными температурой распределениями учителя и своими, и так перенимает знания о похожести классов. В-четвёртых, RLHF: при обучении политики с наградой добавляют штраф β·KL к исходной SFT-модели, чтобы модель не ушла в странные тексты, взламывая награду. В-пятых, мониторинг дрейфа, где сравнивают распределение признака в проде и в обучении. Там KL неудобна: несимметрична и бесконечна, если в новой корзине у старого распределения ноль, поэтому берут PSI (симметризованную KL по бинам со сглаживанием) или Йенсена-Шеннона.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.