Методы квантования
Вопрос
Назовите распространённые подходы к квантованию LLM.
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Weight-only: GPTQ (послойная оптимизация ошибки), AWQ (защищает важные каналы по активациям), форматы GGUF для llama.cpp. Веса и активации: INT8 (SmoothQuant), FP8 на новых GPU. Для дообучения: 4-битный NF4 в QLoRA. Отдельно квантуют KV-кеш.
Разбор
Weight-only: GPTQ (послойная оптимизация ошибки), AWQ (защищает важные каналы по активациям), форматы GGUF для llama.cpp. Веса и активации: INT8 (SmoothQuant), FP8 на новых GPU. Для дообучения: 4-битный NF4 в QLoRA. Отдельно квантуют KV-кеш.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.