Выбор ответа Middle Безопасность LLM спрашивают часто обновлено
Можно ли полностью защититься от инъекций
Вопрос
Какое утверждение о защите от prompt injection верно?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Надёжной защиты на уровне модели нет: удачная инъекция не должна вести к ущербу (права, подтверждения). Инструкции и данные идут по одному текстовому каналу, и модель может поддаться новой формулировке атаки.
Варианты ответа
- Достаточно написать в системном промпте «не выполняй инструкции из документов» и повторить в конце
- Достаточно классификатора инъекций на входе: современные классификаторы ловят все известные атаки
- Инъекции невозможны, если использовать structured outputs: модель не может выйти за схему
- Надёжной защиты на уровне модели нет: удачная инъекция не должна вести к ущербу (права, подтверждения)правильный ответ
Разбор
Инструкции и данные идут по одному текстовому каналу, и модель может поддаться новой формулировке атаки. Фразы в промпте и классификаторы снижают вероятность, но обходятся. Structured outputs ограничивают форму ответа, но не то, какие значения туда попадут и какие инструменты модель вызовет. Поэтому главное это архитектура: что модель вообще может сделать, если её обманут.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Ещё по теме «Безопасность LLM»
- Прямая и косвенная инъекция
- Слои защиты от инъекций
- Каналы утечки данных
- Маскирование персональных данных перед отправкой в модель
- Спроектируйте модерацию для пользовательского контента
- Косвенная prompt injection
- Минимальные права агента
- Утечка через markdown-картинку