Квантование LLM

Для LLM чаще всего делают weight-only квантование: веса хранятся в 4 битах, а при умножении разворачиваются в bf16 по масштабам. Веса делят на группы, например по 128, и у каждой группы свой масштаб и, при необходимости, нулевая точка; так выбросы одной группы не портят другие. Наивное округление до 4 бит теряет заметно, поэтому используют методы, учитывающие влияние ошибки на выход слоя: одни подбирают квантованные веса с компенсацией ошибки по калибровочным данным, другие защищают каналы, важные для активаций. Работает это потому, что веса больших моделей избыточны, а декодирование ограничено чтением памяти: читаем вчетверо меньше байт, и генерация ускоряется. Активации квантовать сложнее из-за выбросов в отдельных каналах. Качество проверяю не только перплексией, но и на задачах рассуждения, коде и длинном контексте, где потери проявляются раньше. QLoRA объединяет 4-битную замороженную базу с обучаемыми LoRA-адаптерами.