Техпрогон
ВойтиНачать бесплатно
Выбор ответа Middle Безопасность LLM обновлено

Как мерить модерацию

Вопрос

Какие метрики важны для модерации входящих сообщений в чат-боте?

Попробуйте сами

Выберите вариант, и откроется разбор.

Показать ответ и разбор

Коротко

Правильный ответ: И доля пропущенных нарушений (recall), и доля ложных блокировок (precision) на размеченном наборе. Модерация это классификатор с двумя типами ошибок.

Варианты ответа

  1. И доля пропущенных нарушений (recall), и доля ложных блокировок (precision) на размеченном набореправильный ответ
  2. Только доля заблокированных сообщений: чем она больше, тем безопаснее чат-бот для всех пользователей
  3. Только задержка классификатора: модерация не должна замедлять ответ больше чем на 100 мс
  4. Размер стоп-листа и частота его обновления: чем больше слов, тем полнее модерация

Разбор

Модерация это классификатор с двумя типами ошибок. Пропуски вредят безопасности, ложные блокировки ломают продукт и злят пользователей. Обе ошибки меряют на размеченных примерах и выбирают порог под цену ошибок. Доля блокировок сама по себе ничего не говорит. Задержка важна, но вторична. Размер стоп-листа не метрика качества.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.

Потренироваться бесплатно

Предыдущий вопрос

Угрозы и защиты

Следующий вопрос

Можно ли полностью защититься от инъекций

Урок по теме

Безопасность LLM-приложений

Ещё по теме «Безопасность LLM»

Все вопросы модуля