Код Middle Квантование и дистилляция обновлено
Потеря дистилляции
Условие
Напишите kd_loss(teacher_logits, student_logits, T): KL(p_teacher ‖ p_student) между softmax(logits / T) учителя и ученика, умноженную на T². Натуральный логарифм, устойчивый softmax, округление до 4 знаков.
Примеры
kd_loss([1, 2, 3], [1, 2, 3], 2) // 0
kd_loss([2, 0], [0, 2], 1) // 1.5232
kd_loss([2, 0], [0, 2], 4) // 1.9593
Решите в тренажёре
Редактор с автотестами прямо в браузере. Можно решить спокойно, вслух или под таймером, как на собесе.