Тест для ML-инженера

Q: Сколько вопросов в тесте по профессии ML/LLM-инженер?

20 вопросов с выбором ответа: 9 junior, 10 middle и 1 senior. Их берём из банка в 1 033 вопросов с разборами.

Q: Как считается уровень?

Каждый ответ весит по сложности: junior 1 балл, middle 2, senior 3. Senior дают только тем, кто закрыл и сложные вопросы, поэтому угадать уровень на лёгких не выйдет.

Q: Нужна ли регистрация?

Нет. Вердикт, разбивка по темам и ошибки с правильными ответами видны сразу. Регистрация нужна, только чтобы сохранить результат и получить план подготовки.

Q: Таймер строгий?

Нет. На тест отводится около 10 минут, таймер просто показывает время. Когда оно выйдет, можно спокойно закончить.

Q: Вопросы каждый раз одни и те же?

Набор вопросов теста постоянный, а порядок вопросов и вариантов меняется при каждом прохождении. Остальные вопросы ждут в билетах тренажёра.

Q: Можно поделиться результатом?

Да. Ссылка показывает только тему, уровень, процент и дату, без имени и почты.

Question 1

Для чего нужен файл conftest.py?

Accepted Answer

Фикстуры и хуки, доступные тестам каталога без импорта

Answer

Обязательный файл конфигурации, без него pytest не запустится

Answer

В нём перечисляются все тесты проекта для сбора

Answer

Это файл с переменными окружения для тестов

Question 2

Что будет, если в каталоге с модулями нет __init__.py?

Accepted Answer

Каталог импортируется как namespace-пакет

Answer

Модули из каталога импортировать невозможно

Answer

Python создаст __init__.py автоматически

Answer

Импорт сработает только через importlib

Question 3

Что моделирует логистическая регрессия?

Accepted Answer

Логарифм шансов как линейную функцию признаков: p = σ(w·x + b)

Answer

Метку класса напрямую как линейную функцию признаков: y = w·x + b

Answer

Расстояние от объекта до разделяющей гиперплоскости как вероятность

Answer

Вероятность класса как линейную функцию признаков: p = w·x + b

Question 4

Как считается permutation importance признака?

Accepted Answer

Перемешать значения признака на валидации и посмотреть, насколько упала метрика обученной модели

Answer

Переобучить модель без этого признака на тех же данных и сравнить метрики на валидации с полной моделью

Answer

Посчитать, сколько раз признак использован в разбиениях деревьев, и нормировать на число деревьев

Answer

Посчитать модуль корреляции Пирсона между признаком и целевой переменной на обучающей выборке

Question 5

Чем model.eval() отличается от torch.no_grad()?

Accepted Answer

eval() меняет поведение слоёв (dropout, BatchNorm); no_grad() отключает граф. На валидации нужны оба

Answer

Это одно и то же: оба выключают dropout и не строят граф вычислений

Answer

eval() отключает градиенты и построение графа, а no_grad() выключает dropout и замораживает статистики BatchNorm

Answer

no_grad() нужен только на обучении, чтобы не накапливать лишние градиенты между шагами

Question 6

В цикле обучения пишут total_loss += loss и через сотни шагов кончается память GPU. Почему?

Accepted Answer

loss это тензор с графом; накапливая его, мы держим графы всех шагов. Нужно loss.item()

Answer

Потому что loss слишком большой по значению и хранится в float64 на GPU

Answer

Нужно вызывать torch.cuda.empty_cache() каждый шаг, иначе аллокатор не возвращает память

Answer

Сложение тензоров на GPU создаёт новую копию в памяти, и старые копии не освобождаются

Question 7

Модель в ответ на запрос вернула вызов инструмента get_order(order_id="A-17"). Кто исполняет функцию?

Accepted Answer

Код приложения: проверяет аргументы, вызывает функцию и возвращает результат модели

Answer

Сама модель в песочнице на серверах провайдера, а результат возвращается в ответе

Answer

Провайдер API автоматически вызывает ваш эндпоинт, указанный в описании инструмента

Answer

Пользователь в интерфейсе чата, которому модель показывает кнопку с вызовом функции

Question 8

Размеченных данных для оценки RAG-бота нет. С чего разумнее начать?

Accepted Answer

Взять реальные вопросы из логов, с экспертами разметить 50-100 примеров с эталонами, расширять

Answer

Сгенерировать 10 тысяч вопросов моделью по документам и считать их оценочным набором без проверки

Answer

Оценивать только по лайкам и дизлайкам пользователей под ответами бота в проде

Answer

Отложить оценку до появления большого размеченного датасета, а пока улучшать по ощущениям

Question 9

Как определяется условная вероятность P(A | B) при P(B) > 0?

Accepted Answer

P(A ∩ B) / P(B)

Answer

P(A ∩ B) / P(A)

Answer

P(A)·P(B)

Answer

P(B | A)

Question 10

Что верно для ортогональной матрицы Q?

Accepted Answer

QᵀQ = I, обратная равна транспонированной, длины сохраняются

Answer

Все её элементы равны 0 или 1, по одной единице в строке

Answer

Её определитель равен 0, поэтому она необратима

Answer

Она симметрична: Q = Qᵀ, а все собственные значения равны 1

Question 11

Какой контроллер подходит для агента сбора логов, который должен работать на каждом узле?

Accepted Answer

DaemonSet

Answer

Deployment с числом реплик, равным числу узлов

Answer

CronJob

Answer

StatefulSet

Question 12

docker stop api каждый раз ждёт 10 секунд, а в логах приложения нет сообщения о получении SIGTERM. В Dockerfile CMD node server.js. В чём причина?

Accepted Answer

Shell-форма: PID 1 это /bin/sh -c, он не передаёт SIGTERM приложению

Answer

Node.js не обрабатывает сигналы без флага --signals, поэтому SIGTERM теряется

Answer

Без EXPOSE Docker не может связаться с процессом и ждёт таймаут перед SIGKILL

Answer

Таймаут 10 секунд задан в Node.js: он откладывает выход до закрытия всех соединений

Question 13

Какое утверждение о масштабировании верно?

Accepted Answer

Вертикальное упирается в предел сервера и оставляет точку отказа

Answer

Горизонтальное масштабирование не требует изменений в приложении

Answer

Вертикальное масштабирование всегда дороже горизонтального

Answer

Горизонтальное масштабирование означает переход на мощный процессор

Question 14

Ночью скрипт прогрел кеш 1 млн товаров с TTL ровно 24 часа. Какой риск и как его снизить?

Accepted Answer

Ключи истекут разом; добавить к TTL случайный разброс

Answer

Redis не принимает TTL больше 12 часов и отбросит такие ключи

Answer

Память Redis переполнится через 24 часа из-за истёкших ключей

Answer

Риска нет: одинаковый TTL у всех ключей это обычная практика

Senior	от 80% баллов и от 60% senior-вопросов
Middle	от 60% баллов и от половины middle-вопросов
Junior	от 30% баллов или от 70% junior-вопросов
Пока стажёр	меньше, чем нужно для junior

Тест для ML-инженера

20 вопросов по профессии ML/LLM-инженер

Примеры вопросов для ML-инженера

Из каких тем вопросы

Как считается уровень

Тесты по отдельным темам

Частые вопросы