Выбор ответа Middle Оценка качества обновлено
Судья любит длинные ответы
Вопрос
После изменения промпта ответы стали вдвое длиннее, и LLM-судья поставил им оценки выше. Пользователи же жалуются на «воду». Что произошло?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Искажение многословности: судьи завышают длинные ответы; рубрика должна штрафовать лишнее. Многословность одно из главных искажений LLM-судей.
Варианты ответа
- Пользователи ошибаются: судья объективнее, а жалобы на «воду» единичные
- Искажение многословности: судьи завышают длинные ответы; рубрика должна штрафовать лишнееправильный ответ
- Длинные ответы полнее, значит, качество выросло, а пользователям просто нужно время, чтобы привыкнуть
- Судья сломался после обновления модели провайдера, нужно сменить провайдера судьи
Разбор
Многословность одно из главных искажений LLM-судей. Если рубрика не учитывает краткость и судья не сверен с людьми, метрика растёт вместе с длиной. Жалобы пользователей это реальный сигнал, а не ошибка. Длина и полнота не одно и то же. Смена провайдера без изменения рубрики не поможет: искажение есть у большинства моделей.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.