Выбор ответа Middle Оценка качества обновлено
Набор без разметки
Вопрос
Размеченных данных для оценки RAG-бота нет. С чего разумнее начать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Взять реальные вопросы из логов, с экспертами разметить 50-100 примеров с эталонами, расширять. Небольшой, но реальный и проверенный людьми набор ценнее большого синтетического.
Варианты ответа
- Сгенерировать 10 тысяч вопросов моделью по документам и считать их оценочным набором без проверки
- Взять реальные вопросы из логов, с экспертами разметить 50-100 примеров с эталонами, расширятьправильный ответ
- Оценивать только по лайкам и дизлайкам пользователей под ответами бота в проде
- Отложить оценку до появления большого размеченного датасета, а пока улучшать по ощущениям
Разбор
Небольшой, но реальный и проверенный людьми набор ценнее большого синтетического. Синтетику можно добавлять, но с выборочной проверкой: сгенерированные вопросы часто проще и «похожи» на документы. Лайки ставит малая доля пользователей, сигнал шумный и запаздывающий. Откладывать оценку значит улучшать вслепую.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.