Выбор ответа Senior Оценка качества спрашивают часто обновлено
Калибровка LLM-судьи
Вопрос
Как убедиться, что LLM-судье можно доверять на вашей задаче?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Разметить людьми выборку, измерить согласие судьи с ними, править рубрику и перепроверять. Доверие к судье это измеряемая величина: согласие с людьми на вашей задаче (accuracy, каппа).
Варианты ответа
- Разметить людьми выборку, измерить согласие судьи с ними, править рубрику и перепроверятьправильный ответ
- Взять самую большую доступную модель: она по определению судит правильно на любой задаче
- Проверить, что судья стабильно выдаёт оценку в нужном формате JSON без ошибок парсинга
- Сравнить оценки судьи с оценками второго судьи той же модели на тех же примерах
Разбор
Доверие к судье это измеряемая величина: согласие с людьми на вашей задаче (accuracy, каппа). Без этого метрика может систематически ошибаться. Размер модели не гарантирует согласия с вашими критериями. Формат ответа говорит о парсинге, а не о качестве. Два судьи одной модели разделяют одни и те же искажения.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.