Слои защиты от инъекций
Вопрос
Перечислите слои защиты LLM-приложения от prompt injection.
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Минимальные права инструментов и данные только текущего пользователя. Подтверждение человеком для чувствительных действий. Разделение данных и инструкций. Классификаторы на входе и выходе. Закрытие каналов утечки (внешние картинки и ссылки). Изоляция контекстов. Аудит и мониторинг.
Разбор
Минимальные права инструментов и данные только текущего пользователя. Подтверждение человеком для чувствительных действий. Разделение данных и инструкций. Классификаторы на входе и выходе. Закрытие каналов утечки (внешние картинки и ссылки). Изоляция контекстов. Аудит и мониторинг.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Ещё по теме «Безопасность LLM»
- Маскирование персональных данных перед отправкой в модель
- Спроектируйте модерацию для пользовательского контента
- Косвенная prompt injection
- Минимальные права агента
- Утечка через markdown-картинку
- Угрозы и защиты
- Как мерить модерацию
- Можно ли полностью защититься от инъекций