Выбор ответа Senior Квантование и дистилляция обновлено
Температура в дистилляции
Вопрос
Зачем в дистилляции логиты учителя и ученика делят на температуру T > 1 и умножают потерю на T²?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: T смягчает распределение и открывает малые вероятности; T² компенсирует уменьшение градиентов в 1/T². При T = 1 уверенный учитель даёт почти one-hot, и ученик мало что узнаёт сверх метки.
Варианты ответа
- T ускоряет обучение ученика, а T² нормирует его веса, чтобы они не росли при смягчении
- T нужна, чтобы учитель стал увереннее, а T² дополнительно усиливает вклад его самых вероятных классов
- T смягчает распределение и открывает малые вероятности; T² компенсирует уменьшение градиентов в 1/T²правильный ответ
- T² превращает KL-дивергенцию в MSE между логитами, которую проще оптимизировать
Разбор
При T = 1 уверенный учитель даёт почти one-hot, и ученик мало что узнаёт сверх метки. При T = 2..5 вероятности «неправильных» классов становятся заметными. Градиент мягкой потери масштабируется как 1/T², поэтому её домножают на T².
- Скорость тут ни при чём.
- Учитель становится менее уверенным.
- KL остаётся KL.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.