Карточка Middle Квантование и дистилляция обновлено
Потеря дистилляции
Вопрос
Как выглядит классическая потеря дистилляции?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
L = α·T²·KL(softmax(zt/T) ‖ softmax(zs/T)) + (1 - α)·CE(y, softmax(zs)), где zt логиты учителя, zs ученика, T температура, α вес мягкой части.
Ответ
L = α·T²·KL(softmax(z_t/T) ‖ softmax(z_s/T)) + (1 - α)·CE(y, softmax(z_s)), где z_t логиты учителя, z_s ученика, T температура, α вес мягкой части.
Разбор
L = α·T²·KL(softmax(z_t/T) ‖ softmax(z_s/T)) + (1 - α)·CE(y, softmax(z_s)), где z_t логиты учителя, z_s ученика, T температура, α вес мягкой части.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.