Выбор ответа Junior Квантование и дистилляция спрашивают часто обновлено
Дистилляция знаний
Вопрос
Что такое дистилляция знаний?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Обучение маленькой модели-ученика повторять мягкие вероятности большой модели-учителя. Мягкие распределения учителя содержат больше информации, чем one-hot: насколько кошка похожа на рысь, а не на грузовик.
Варианты ответа
- Удаление половины весов модели с наименьшей величиной с последующим дообучением
- Обучение маленькой модели-ученика повторять мягкие вероятности большой модели-учителяправильный ответ
- Сжатие весов большой модели в int8 с калибровкой на её собственных ответах
- Обучение учителя на ответах ученика, чтобы большая модель стала устойчивее к шуму в данных
Разбор
Мягкие распределения учителя содержат больше информации, чем one-hot: насколько кошка похожа на рысь, а не на грузовик. Потеря: KL между распределениями с температурой T (умноженный на T²) плюс кросс-энтропия с метками. Так получены компактные модели вроде DistilBERT, а LLM дистиллируют и на сгенерированных учителем текстах.
- Удаление весов это прунинг.
- int8 это квантование.
- Направление обратное.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.