Выбор ответа Senior Квантование и дистилляция обновлено
PTQ против QAT
Вопрос
Чем post-training quantization отличается от quantization-aware training?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: PTQ квантует обученную модель (иногда с калибровкой), QAT имитирует квантование при обучении и точнее. PTQ быстрый и не требует обучения: int8 обычно почти без потерь, для 4 бит нужны продвинутые методы (GPTQ, AWQ и подобные).
Варианты ответа
- PTQ квантует обученную модель (иногда с калибровкой), QAT имитирует квантование при обучении и точнееправильный ответ
- PTQ требует полного переобучения модели в низкой разрядности, а QAT квантует уже обученную модель после калибровки на выборке
- QAT работает только для свёрточных сетей, а PTQ для трансформеров, поэтому для LLM выбора нет
- Это одно и то же: разные названия одного алгоритма в PyTorch и TensorFlow
Разбор
PTQ быстрый и не требует обучения: int8 обычно почти без потерь, для 4 бит нужны продвинутые методы (GPTQ, AWQ и подобные). QAT вставляет «фейковое» квантование в forward, а градиенты проходят через округление по straight-through estimator.
- Наоборот, обучения требует QAT.
- QAT применим к любым архитектурам.
- Подходы различаются по сути.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.