Ускорить и удешевить инференс

Начинаю с измерений: что важно, задержка одного запроса или пропускная способность, и где узкое место (вычисления, память, загрузка данных, сеть). Самое дешёвое: инженерия инференса. Батчинг запросов, для LLM continuous batching, torch.compile или специализированные рантаймы (ONNX Runtime, TensorRT, движки для LLM), кеширование повторяющихся запросов. Дальше пониженная точность: bf16 вместо fp32 почти всегда безопасна, int8 обычно почти без потерь, 4 бита для LLM с аккуратными методами квантования. Если нужно кратное ускорение, дистиллирую в меньшую модель: ученик учится на мягких ответах учителя и на неразмеченных данных из прода. Структурированный прунинг удаляет каналы, головы или слои. После каждого шага проверяю качество на своей задаче и на важных срезах, а не только на средней метрике, потому что сжатие часто бьёт по редким случаям.