Тест по LLM-инженерии

Q: Сколько вопросов в тесте по LLM-инженерии?

20 вопросов с выбором ответа: 7 junior, 8 middle и 5 senior. Их берём из банка в 100 вопросов с разборами.

Q: Как считается уровень?

Каждый ответ весит по сложности: junior 1 балл, middle 2, senior 3. Senior дают только тем, кто закрыл и сложные вопросы, поэтому угадать уровень на лёгких не выйдет.

Q: Нужна ли регистрация?

Нет. Вердикт, разбивка по темам и ошибки с правильными ответами видны сразу. Регистрация нужна, только чтобы сохранить результат и получить план подготовки.

Q: Таймер строгий?

Нет. На тест отводится около 10 минут, таймер просто показывает время. Когда оно выйдет, можно спокойно закончить.

Q: Вопросы каждый раз одни и те же?

Набор вопросов теста постоянный, а порядок вопросов и вариантов меняется при каждом прохождении. Остальные вопросы ждут в билетах тренажёра.

Q: Можно поделиться результатом?

Да. Ссылка показывает только тему, уровень, процент и дату, без имени и почты.

Question 1

Агент часто вызывает search_docs вместо get_order_status, когда пользователь спрашивает «где мой заказ». Что исправить первым делом?

Accepted Answer

Описания и схемы инструментов: чётко написать, когда нужен каждый, с примерами фраз

Answer

Поднять температуру, чтобы модель чаще пробовала разные инструменты и находила нужный

Answer

Убрать search_docs из этого и остальных агентов компании, чтобы он не мешал выбору

Answer

Увеличить контекстное окно, чтобы модель видела описания всех инструментов целиком

Question 2

В промпт классификатора отзывов добавили 4 примера, все с меткой «положительный». Что вероятнее всего произойдёт?

Accepted Answer

Модель начнёт чаще ставить «положительный» и на нейтральные или отрицательные отзывы

Answer

Качество вырастет: примеров стало больше, и модель лучше поймёт формат ответа и задачу

Answer

Модель проигнорирует метки примеров: они влияют только на формат ответа, а не на выбор класса

Answer

Модель откажется отвечать, так как примеры противоречат инструкции про три класса

Question 3

Сервис извлекает из писем поля в JSON. Какие настройки генерации разумнее всего?

Accepted Answer

Низкая температура (около 0) и структурированный вывод по JSON-схеме

Answer

Температура 1.5, чтобы модель не пропускала редкие поля в письмах

Answer

Top-k = 1000 и температура 1.0, чтобы модель видела все варианты полей

Answer

Высокий presence penalty, чтобы ключи полей в JSON не повторялись

Question 4

Чем BERT принципиально отличается от GPT-подобных моделей?

Accepted Answer

BERT это энкодер с двунаправленным вниманием и маскированием токенов; GPT декодер с каузальным

Answer

BERT генерирует текст лучше GPT, потому что при каждом токене видит контекст с двух сторон

Answer

BERT не использует механизм внимания, только рекуррентные слои с двунаправленным проходом

Answer

Разницы в архитектуре нет: обе модели декодеры, отличаются только размер и данные обучения

Question 5

Сервис на PostgreSQL, 2 млн документов, нужен семантический поиск с фильтрами по клиенту и статусу. Какой выбор разумнее для старта?

Accepted Answer

pgvector в той же базе: векторы рядом с данными, фильтры на SQL, индекс HNSW

Answer

Обязательно отдельная векторная БД: PostgreSQL не умеет индексировать векторы и ищет только перебором

Answer

Хранить векторы в Redis как строки и перебирать их в коде приложения на каждый запрос

Answer

Не строить индекс, а пересчитывать эмбеддинги всех документов на каждый запрос

Question 6

Что такое Model Context Protocol (MCP)?

Accepted Answer

Открытый протокол подключения к LLM-приложениям внешних серверов с инструментами и ресурсами

Answer

Формат сжатия контекста модели, позволяющий передавать длинную историю между сессиями

Answer

Протокол обмена весами и адаптерами между моделями разных провайдеров при дообучении

Answer

Внутренний протокол GPU для передачи KV-кеша между узлами при распределённом инференсе

Question 7

После дообучения на классификации обращений модель стала отлично классифицировать, но хуже отвечать на общие вопросы и следовать инструкциям. Что это и что поможет?

Accepted Answer

Катастрофическое забывание; помогут меньше эпох, ниже learning rate, общие данные, LoRA

Answer

Переобучение токенайзера на словах классов; нужно вернуть исходный токенайзер и повторить обучение

Answer

Это нормальное поведение любой дообученной модели, и оно не лечится настройками обучения

Answer

Нехватка контекстного окна после дообучения; нужна модель с большим окном или короче промпты

Question 8

Чем structured outputs (генерация по JSON-схеме) отличается от обычного JSON mode?

Accepted Answer

JSON mode гарантирует только валидный JSON, а structured outputs ещё и соответствие схеме

Answer

Ничем: это два названия одной функции, разные провайдеры называют её по-своему

Answer

Structured outputs проверяет JSON уже после генерации и молча удаляет лишние или неверные поля

Answer

JSON mode работает только для массивов, а structured outputs только для объектов

Question 9

Почему удвоение длины контекста в стандартном трансформере больше чем удваивает стоимость внимания?

Accepted Answer

Каждый токен сравнивается со всеми предыдущими, число пар растёт квадратично

Answer

Длинный контекст требует загрузить вторую копию весов модели в память

Answer

Токенайзер BPE работает квадратично от длины текста при слиянии пар

Answer

После половины окна модель переключается на более медленный и точный режим внимания

Question 10

В ANN-индексе миллион документов 1000 клиентов. Запрос: top-10 похожих только среди документов одного клиента. Сделали поиск top-10 и потом отфильтровали по клиенту. Что не так?

Accepted Answer

После пост-фильтрации часто остаётся меньше 10 или ноль: у клиента 0,1% индекса

Answer

Ничего: пост-фильтрация даёт точный top-10, просто работает чуть медленнее

Answer

Фильтр по клиенту изменит нормы векторов документов, и порядок соседей собьётся

Answer

ANN-индекс не возвращает идентификаторы документов, поэтому фильтровать по клиенту нечем

Question 11

Как RoPE (rotary position embedding) передаёт модели информацию о позиции?

Accepted Answer

Поворачивает query и key на угол по позиции, и их произведение зависит от расстояния

Answer

Прибавляет к эмбеддингу токена обучаемый вектор абсолютной позиции, как в BERT и ранних GPT

Answer

Добавляет в текст специальные токены с номерами позиций после каждого слова

Answer

Сортирует токены по позиции перед подачей в слой внимания и запоминает перестановку

Question 12

Ответы RAG-бота плохие. На оценочном наборе recall@5 поиска 0.92, а ответы часто не используют найденное и выдумывают. Куда смотреть?

Accepted Answer

На генерацию: промпт, порядок и объём контекста, инструкцию отвечать по источникам

Answer

На чанкинг: нужно уменьшить чанки вдвое, чтобы модели было проще найти ответ

Answer

На эмбеддинг-модель: её надо заменить, раз ответы не совпадают с документами

Answer

На поиск: добавить BM25 и гибридную выдачу, чтобы поднять recall@5 выше 0.95

Senior	от 80% баллов и от 60% senior-вопросов
Middle	от 60% баллов и от половины middle-вопросов
Junior	от 30% баллов или от 70% junior-вопросов
Пока стажёр	меньше, чем нужно для junior

Тест по LLM-инженерии онлайн

20 вопросов по LLM-инженерии

Примеры вопросов по LLM-инженерии

Какие темы проверяет тест

Как считается уровень

Ещё тесты

Частые вопросы