Как построить оценку LLM-фичи
Вопрос
Вы запускаете суммаризацию звонков для менеджеров. Как построите оценку качества от разработки до прода?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Определить, что такое хорошее резюме: критерии и ошибки
Набор реальных звонков с эталонами или списками ключевых фактов
Автоматические проверки: формат, длина, наличие ключевых фактов
Судья на верность (нет выдуманного) и полноту, откалиброванный на людях
Онлайн: правки менеджеров, оценки, использование
Регрессионный прогон перед каждой сменой промпта или модели
Что могут спросить следом
- Как понять, что резюме выдумало договорённость, которой не было?
- Какую метрику вы покажете бизнесу?
Разбор
Образцовый ответ: «Начну с определения качества вместе с менеджерами: резюме должно содержать договорённости, следующие шаги, суммы и даты, и самое опасное это выдуманная договорённость. Собираю набор из 100 реальных звонков с транскриптами, для каждого эксперты выписывают ключевые факты. Автоматически проверяю формат и длину, полноту считаю как долю ключевых фактов, найденных в резюме, через судью с эталоном. Отдельно судья проверяет верность: каждое утверждение резюме подкреплено транскриптом. Судью сверяю с ручной разметкой. Это даёт офлайн-цикл, через который проходит каждая смена промпта или модели. В проде смотрю, насколько менеджеры правят резюме, сколько используют без правок, и собираю жалобы, которые становятся новыми примерами в наборе. Бизнесу показываю долю резюме без правок и время, сэкономленное менеджерами».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.