Вопросы по LLM-инженерия
Как устроены и работают большие языковые модели, от токенов и KV-кеша до RAG, агентов, оценки качества и эксплуатации в проде. Закрывает теорию и задачи секции LLM-инженера: объяснить механизм, посчитать метрику, спроектировать систему.
Проверьте себя: тест по LLM-инженерии
20 вопросов, 10 минут, уровень junior, middle или senior
Как устроены LLM
Токенизация и BPE, эмбеддинги токенов, self-attention, decoder-only трансформер, контекстное окно и предобучение.
Урок: Как устроена LLM 7 мин- Зачем делить на корень из d_k во внимании
- Как работает BPE-токенизация
- Дата среза знаний
- Query, key, value
- Что такое токен
- Этапы обучения LLM
- Каузальная маска в декодере
- Применить BPE-слияния к слову
Ещё 12 вопросов и задач
- Простой токенайзер на Python
- GPT против BERT
- Lost in the middle
- Архитектуры трансформеров и задачи
- Помнит ли модель прошлые диалоги
- Путь запроса через модель
- Почему длинный контекст дорог
- RoPE: что кодирует позиция
- Почему русский текст дороже в токенах
- Self-attention: объяснить механизм
- Как работает LLM: объяснить на собесе
- Что на самом деле предсказывает LLM
Инференс и генерация
Температура, top-k, top-p, KV-кеш, prefill и decode, батчинг, квантование и спекулятивное декодирование.
Урок: Инференс LLM: от логитов до батчинга 8 мин- Формула размера KV-кеша
- Методы квантования
- TTFT и TPOT
- Размер KV-кеша в мегабайтах
- Softmax с температурой
- Top-k с перенормировкой
- Фильтр top-p (nucleus)
- Память под веса модели
Ещё 13 вопросов и задач
- Continuous batching
- GQA и размер KV-кеша
- Параметры генерации для извлечения данных
- Зачем нужен KV-кеш
- Техники ускорения инференса
- Prefill и decode: что ограничивает
- Память под веса после квантования
- Температура, top-k и top-p
- Как обслужить LLM на своих GPU
- Спекулятивное декодирование
- Что делает температура
- Top-p (nucleus sampling)
- Что ухудшает TTFT
Промптинг и структурированный вывод
Системный промпт, few-shot, рассуждение по шагам, JSON-схемы и constrained decoding, шаблоны и версии промптов.
Урок: Промптинг и структурированный вывод 6 мин- Constrained decoding
- Роли сообщений в чат-API
- Zero-shot, few-shot, CoT
- Достать JSON из ответа модели
- Когда нужен chain-of-thought
- Зачем отделять данные от инструкций
- Few-shot: подвох в примерах
- Порядок полей в схеме ответа
Ещё 10 вопросов и задач
Эмбеддинги и векторный поиск
Что такое эмбеддинг, косинус и скалярное произведение, точный и приближённый поиск, HNSW и IVF, векторные БД.
Урок: Эмбеддинги и векторный поиск 6 мин- Как измерить качество ANN-индекса
- Контрастивное обучение эмбеддингов
- Формула косинусного сходства
- Параметры HNSW
- Косинусное сходство
- L2-нормализация векторов
- Top-k ближайших по косинусу
- Укороченные эмбеддинги
Ещё 11 вопросов и задач
- Фильтрация в векторном поиске
- HNSW: какую ручку крутить в рантайме
- Как работает IVF
- Типы векторных индексов
- Смена эмбеддинг-модели
- Косинус, скалярное и евклид на нормализованных векторах
- pgvector или отдельная векторная БД
- Префиксы query и passage
- Как выбрать эмбеддинг-модель
- Как работает HNSW
- Что такое эмбеддинг текста
RAG
Чанкинг, ретривер, гибридный поиск, BM25, reciprocal rank fusion, реранкинг, сборка контекста и цитаты.
Урок: RAG от чанкинга до реранкинга 7 мин- Права доступа в RAG
- Когда векторный поиск проигрывает BM25
- Из чего состоит BM25
- Этапы RAG
- Формула RRF
- Размер чанка
- BM25 для маленького корпуса
- Чанкинг по словам с перекрытием
Ещё 15 вопросов и задач
- Отбор контекста через MMR
- Уложить чанки в бюджет токенов
- Reciprocal rank fusion
- Спроектируйте чат-бот по документации продукта
- Спроектируйте RAG для поддержки клиентов
- Где сломался RAG
- Зачем MMR в выдаче
- Порядок шагов RAG при ответе
- Зачем перекрытие чанков
- Переписывание запроса в диалоге
- Bi-encoder и cross-encoder
- Почему RRF, а не сумма оценок
- RAG: объяснить на собесе
- Как улучшить качество RAG
- Зачем нужен RAG
Агенты и вызов инструментов
Function calling, цикл агента, ReAct, планирование, память, MCP, ограничения и контроль агентов.
Урок: Агенты и вызов инструментов 6 мин- Шаги function calling
- Как ограничить агента
- Plan-and-execute
- Проверить вызов инструмента перед выполнением
- Подтверждение действий агента
- Рост контекста агента
- Спроектируйте агента для бронирования командировок
- Как оценивать агента
Ещё 11 вопросов и задач
- Что такое MCP
- Цикл агента по шагам
- Что такое ReAct
- Код-ревью: агент аналитики с SQL-инструментом
- Как сделать агента безопасным
- Когда нужен агент, а когда нет
- Зачем лимит шагов агента
- Описание инструмента
- Откуда брать user_id для инструмента
- Кто исполняет функцию при function calling
- Агент или фиксированная цепочка
Оценка качества
Офлайн-метрики поиска и генерации, золотые наборы, LLM-as-judge и его искажения, A/B и онлайн-сигналы.
Урок: Оценка LLM-систем 6 мин- A/B новой версии промпта
- Среднее против срезов
- Почему BLEU и ROUGE плохи для чат-ответов
- Искажения LLM-судьи
- Метрики поиска
- nDCG
- MRR по набору запросов
- nDCG@k
Ещё 14 вопросов и задач
- Попарный судья с перестановкой
- Средний recall@k по набору запросов
- Спроектируйте систему оценки LLM-фич
- Верность ответа контексту
- Калибровка LLM-судьи
- Метрики и что они меряют
- Как считается MRR
- Набор без разметки
- Позиционное искажение судьи
- Что такое recall@k
- Код-ревью: скрипт сравнения двух промптов
- LLM-as-judge: как использовать правильно
- Как построить оценку LLM-фичи
- Судья любит длинные ответы
Дообучение и LoRA
Когда дообучать, SFT, LoRA и QLoRA, выравнивание через RLHF и DPO, данные и катастрофическое забывание.
Урок: Дообучение и LoRA 6 минБезопасность LLM
Прямая и косвенная prompt injection, утечки данных и промпта, опасные инструменты, защита в несколько слоёв.
Урок: Безопасность LLM-приложений 6 мин- Прямая и косвенная инъекция
- Слои защиты от инъекций
- Каналы утечки данных
- Маскирование персональных данных перед отправкой в модель
- Спроектируйте модерацию для пользовательского контента
- Косвенная prompt injection
- Минимальные права агента
- Утечка через markdown-картинку
Ещё 10 вопросов и задач
LLM в проде
Стоимость и задержка, стриминг, кеширование, фолбэки и ретраи, маршрутизация моделей, мониторинг и трейсинг.
Урок: LLM в проде: деньги, задержка, надёжность 6 мин- Формула стоимости запроса
- Prompt caching
- Обвязка надёжности
- Расписание ретраев с экспонентой
- Стоимость LLM-фичи в месяц
- Оценка задержки ответа
- Поиск в семантическом кеше
- Что раздувает стоимость
Ещё 14 вопросов и задач
- Спроектируйте LLM-шлюз для компании
- Фолбэк на резервную модель
- Зачем LLM-шлюз
- Зачем джиттер в ретраях
- Что логировать в LLM-сервисе
- Обработка ошибки вызова модели
- Какую задержку мерить
- Какие ошибки повторять
- Код-ревью: клиент к LLM-провайдеру
- Маршрутизация между моделями
- Риски семантического кеша
- Как снизить стоимость LLM-фичи
- Провайдер упал: что будет с сервисом
- Что даёт стриминг