Как обслужить LLM на своих GPU

Образцовый ответ: «Сначала профиль нагрузки: длина промптов и ответов, пиковые запросы в секунду, целевые TTFT и TPOT. Память считаю как веса плюс KV-кеш: например, модель на 8 млрд в bf16 около 16 ГБ, а кеш на 200 пользователей по 4 тысячи токенов может быть больше весов, поэтому важны GQA в модели и квантование кеша. Беру движок с continuous batching и paged-кешем, например vLLM, включаю prefix caching для общего системного промпта. Если не влезает, квантую веса в 8 или 4 бита и меряю качество на своём наборе. Крупную модель режу tensor parallel по нескольким GPU, по нагрузке добавляю реплики за балансировщиком. Мониторю TTFT, TPOT, очередь и загрузку, ставлю лимиты на длину и очередь, чтобы при пике деградировать предсказуемо. И сравниваю стоимость с API: при неровной нагрузке API часто дешевле».