Тест по машинному обучению

Q: Сколько вопросов в тесте по машинному обучению?

20 вопросов с выбором ответа: 7 junior, 8 middle и 5 senior. Их берём из банка в 91 вопросов с разборами.

Q: Как считается уровень?

Каждый ответ весит по сложности: junior 1 балл, middle 2, senior 3. Senior дают только тем, кто закрыл и сложные вопросы, поэтому угадать уровень на лёгких не выйдет.

Q: Нужна ли регистрация?

Нет. Вердикт, разбивка по темам и ошибки с правильными ответами видны сразу. Регистрация нужна, только чтобы сохранить результат и получить план подготовки.

Q: Таймер строгий?

Нет. На тест отводится около 10 минут, таймер просто показывает время. Когда оно выйдет, можно спокойно закончить.

Q: Вопросы каждый раз одни и те же?

Набор вопросов теста постоянный, а порядок вопросов и вариантов меняется при каждом прохождении. Остальные вопросы ждут в билетах тренажёра.

Q: Можно поделиться результатом?

Да. Ссылка показывает только тему, уровень, процент и дату, без имени и почты.

Question 1

Что моделирует логистическая регрессия?

Accepted Answer

Логарифм шансов как линейную функцию признаков: p = σ(w·x + b)

Answer

Метку класса напрямую как линейную функцию признаков: y = w·x + b

Answer

Расстояние от объекта до разделяющей гиперплоскости как вероятность

Answer

Вероятность класса как линейную функцию признаков: p = w·x + b

Question 2

На чём основана коллаборативная фильтрация?

Accepted Answer

На истории взаимодействий: похожие пользователи любят похожие товары, без описания товаров

Answer

На описании товаров: категории, тексты и картинки сравниваются с тем, что пользователь уже смотрел

Answer

На ручных правилах маркетологов, которые затем взвешиваются по истории кликов пользователей

Answer

На популярности товаров в целом с поправкой на регион и сезон, без персональной истории

Question 3

Как число соседей k влияет на модель kNN?

Accepted Answer

Маленькое k даёт сложную шумную границу (variance), большое сглаживает её (bias)

Answer

Большое k лучше: больше соседей дают больше информации, и variance только снижается

Answer

k влияет только на скорость предсказания, а качество kNN от него практически не меняется

Answer

Маленькое k даёт недообучение: модели не хватает соседей, чтобы уловить закономерность

Question 4

В узле 6 объектов класса A и 2 объекта класса B. Чему равна нечистота Джини?

Accepted Answer

0.375

Answer

0.25

Answer

0.5

Answer

0.811

Question 5

Когда Elastic Net (L1 + L2) лучше чистого lasso?

Accepted Answer

Когда есть группы коррелированных признаков: lasso оставит из группы один случайный, Elastic Net группу

Answer

Когда признаков меньше, чем объектов, и они независимы: тогда L2-часть убирает лишнюю разреженность решения lasso

Answer

Когда нужна максимальная разреженность: L2-часть дополнительно добивает малые веса до точного нуля

Answer

Никогда: Elastic Net хуже обоих методов, это компромисс без преимуществ с лишним гиперпараметром

Question 6

Как связаны сложность модели, смещение (bias) и разброс (variance)?

Accepted Answer

С ростом сложности bias обычно падает, а variance растёт; ошибка на тесте минимальна посередине

Answer

С ростом сложности падают и bias, и variance, поэтому самая сложная модель почти всегда лучшая

Answer

Сложность влияет только на bias, а variance определяется размером выборки и шумом в разметке

Answer

Bias и variance не зависят от модели, только от данных: это свойства распределения, а не алгоритма

Question 7

Как выбрать стратегию переобучения модели в проде?

Accepted Answer

По расписанию под скорость дрейфа или по триггеру деградации, с проверкой новой модели перед заменой

Answer

Переобучать при смене владельца модели или команды, чтобы новые люди проверили пайплайн

Answer

Не переобучать: хорошо провалидированная модель работает стабильно, а переобучение только вносит риск

Answer

Переобучать после каждого запроса онлайн-обучением: так модель постоянно актуальна без проверок

Question 8

Что показывают SHAP-значения для одного предсказания?

Accepted Answer

Вклад каждого признака в отклонение прогноза от базового значения; вклады складываются в итоговый прогноз

Answer

Причинный эффект: на сколько изменится реальный исход, если в жизни изменить значение признака на единицу

Answer

Насколько часто признак используется моделью в разбиениях, нормированное на суммарный прирост качества

Answer

Корреляцию значения признака с ошибкой модели на этом объекте, то есть насколько признак виноват в промахе

Question 9

В чём основная вычислительная проблема kNN в проде на миллионах объектов?

Accepted Answer

Обучения почти нет, а предсказание ищет соседей среди всех объектов; спасают индексы и ANN

Answer

Долгое обучение: построение матрицы попарных расстояний n×n, зато предсказание затем почти мгновенное

Answer

Модель хранит отдельный вектор весов на каждый объект, и при миллионах объектов он не влезает в память

Answer

kNN не масштабируется: любые индексы вроде KD-tree или HNSW дают неверных соседей и ломают качество

Question 10

Модель учили на undersampling: отрицательных оставили 10% от исходного. Что с её вероятностями?

Accepted Answer

Завышены для положительного класса; нужна поправка на приор или калибровка на реальном распределении

Answer

Они точны: undersampling меняет только число объектов, а оценки P(y|x) от доли классов в трейне не зависят

Answer

Они занижены в 10 раз для положительного класса, потому что модель видела меньше данных в целом

Answer

Их можно исправить, разделив предсказанную вероятность положительного класса ровно на 10

Question 11

Почему рекомендательные системы обычно делают двухэтапными: генерация кандидатов и ранжирование?

Accepted Answer

Тяжёлую модель не применить к миллионам товаров на запрос: генераторы отбирают сотни, ранкер их сортирует

Answer

Чтобы рекомендации были случайнее: два независимых этапа снижают повторяемость выдачи

Answer

Ранкер не умеет работать без кандидатов, которые вручную отбирают категорийные менеджеры

Answer

Двухэтапность нужна только для холодного старта: первый этап подбирает новинки, второй уже знакомые товары

Question 12

Из 10 000 признаков отобрали 100 самых коррелирующих с целью на всём датасете, затем сделали кросс-валидацию. Качество отличное. Что не так?

Accepted Answer

Отбор видел валидационные фолды: на шумовых признаках он дал бы такую же оценку; отбирать нужно внутри фолда

Answer

Всё корректно: корреляцию можно считать на всём датасете, ведь она не использует обучение модели и утечки не даёт

Answer

Проблема в том, что 100 признаков из 10 000 мало: модель недообучена, и CV показывает случайно завышенный результат

Answer

Корреляцию нужно было считать на отложенном тесте, а кросс-валидацию запускать уже на трейне с этими признаками

Senior	от 80% баллов и от 60% senior-вопросов
Middle	от 60% баллов и от половины middle-вопросов
Junior	от 30% баллов или от 70% junior-вопросов
Пока стажёр	меньше, чем нужно для junior

Тест по машинному обучению онлайн

20 вопросов по машинному обучению

Примеры вопросов по машинному обучению

Какие темы проверяет тест

Как считается уровень

Ещё тесты

Частые вопросы