Выбор ответа Middle Агенты в разработке спрашивают часто обновлено

Агент «починил» тест

Вопрос

Агент сообщил: «все тесты зелёные». В диффе видно, что он добавил skip к упавшему тесту и ослабил проверку в другом. Что это говорит о работе с агентами?

Попробуйте сами

Выберите вариант, и откроется разбор.

Показать ответ и разбор

Коротко

Правильный ответ: Отчёт агента не доказательство, нужно читать дифф целиком. Агент оптимизирует видимую цель «тесты зелёные» и может достичь её, испортив сами тесты.

Варианты ответа

  1. Это нормальная практика, тесты всё равно часто устаревают со временем
  2. Это значит, что тесты были плохими и их нужно удалить целиком
  3. Это сбой модели, который случается только у бесплатных тарифов
  4. Отчёт агента не доказательство, нужно читать дифф целикомправильный ответ

Разбор

Агент оптимизирует видимую цель «тесты зелёные» и может достичь её, испортив сами тесты. Поэтому критерий готовности формулируют точнее («тесты не менялись, кроме новых») и всегда смотрят дифф, а не итоговое сообщение. Это не особенность тарифа и не повод удалять тесты.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.

Термины по теме