Искажения LLM-судьи
Вопрос
Назовите искажения LLM-as-judge.
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Позиционное (предпочтение порядка), многословность (длинное выше), самопредпочтение (свои модели выше), неустойчивость шкал (оценки 1-10 плавают), незнание фактов без эталона. Лечится: перестановкой, бинарными вопросами, рубрикой, эталоном в промпте, калибровкой на людях.
Разбор
Позиционное (предпочтение порядка), многословность (длинное выше), самопредпочтение (свои модели выше), неустойчивость шкал (оценки 1-10 плавают), незнание фактов без эталона. Лечится: перестановкой, бинарными вопросами, рубрикой, эталоном в промпте, калибровкой на людях.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.