Выбор ответа Middle Оценка качества обновлено
Почему BLEU и ROUGE плохи для чат-ответов
Вопрос
Почему BLEU и ROUGE плохо подходят для оценки ответов чат-бота?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Они считают совпадение слов с эталоном, а верный ответ можно сказать иначе, и неверный совпадёт. Лексические метрики создавались для перевода и суммаризации, где эталон близок по словам.
Варианты ответа
- Они считают совпадение слов с эталоном, а верный ответ можно сказать иначе, и неверный совпадётправильный ответ
- Они требуют GPU для подсчёта и слишком дороги для регулярной оценки больших наборов
- Они работают только для английского языка, а для русского у них нет токенизации и списков n-грамм
- Они оценивают только длину ответа относительно эталона, а не его содержание
Разбор
Лексические метрики создавались для перевода и суммаризации, где эталон близок по словам. В свободном ответе перефразировка получает низкий балл, а ответ с одной неверной цифрой и теми же словами высокий. Они дешёвые и считаются на CPU. Применимы к любому языку, хотя морфология русского ухудшает их ещё сильнее. Длина в них влияет через штрафы, но оценивают они совпадение n-грамм.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.