Выбор ответа Middle Оценка качества спрашивают часто обновлено
Позиционное искажение судьи
Вопрос
LLM-судья сравнивает ответы A и B. Как бороться с тем, что он чаще выбирает ответ, показанный первым?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Сравнивать в двух порядках и засчитывать победу только при совпадении, иначе ничья. Позиционное искажение известно и устойчиво.
Варианты ответа
- Всегда ставить новую версию первой, чтобы искажение было одинаковым во всех сравнениях
- Увеличить температуру судьи, чтобы выбор позиции стал случайным
- Попросить судью в промпте «не обращай внимания на порядок» и больше ничего не делать
- Сравнивать в двух порядках и засчитывать победу только при совпадении, иначе ничьяправильный ответ
Разбор
Позиционное искажение известно и устойчиво. Перестановка и учёт только согласованных решений убирает его влияние на итог, а доля несогласованных пар показывает, насколько судья неуверен. Всегда ставить новую версию первой значит систематически ей подыгрывать. Температура добавит шума. Просьба в промпте помогает слабо и без проверки не годится.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.