Выбор ответа Middle Безопасность LLM спрашивают часто обновлено
Минимальные права агента
Вопрос
Агент читает входящие письма и умеет отвечать на них. Какое решение сильнее всего снижает риск от косвенной инъекции в письме?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Агент только готовит черновик ответа отправителю, отправку подтверждает человек. Даже если инъекция сработает, агент не сможет переслать переписку чужому адресату и не отправит ничего без человека.
Варианты ответа
- Классификатор, который удаляет из писем слова «игнорируй» и «инструкция» перед агентом
- Агент на самой большой доступной модели, которая лучше распознаёт инъекции в тексте
- Агент только готовит черновик ответа отправителю, отправку подтверждает человекправильный ответ
- Системный промпт с запретом пересылать письма и раскрывать переписку третьим лицам
Разбор
Даже если инъекция сработает, агент не сможет переслать переписку чужому адресату и не отправит ничего без человека. Это ограничение возможностей, а не надежда на модель. Удаление отдельных слов тривиально обходится. Большие модели тоже поддаются инъекциям. Запрет в промпте не гарантирует поведения.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Ещё по теме «Безопасность LLM»
- Прямая и косвенная инъекция
- Слои защиты от инъекций
- Каналы утечки данных
- Маскирование персональных данных перед отправкой в модель
- Спроектируйте модерацию для пользовательского контента
- Угрозы и защиты
- Как мерить модерацию
- Можно ли полностью защититься от инъекций