Выбор ответа Junior Безопасность LLM спрашивают часто обновлено
Косвенная prompt injection
Вопрос
Что такое косвенная (indirect) prompt injection?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Вредоносная инструкция спрятана в данных, которые читает модель: письме, странице. При косвенной инъекции атакующий не общается с ботом: он оставляет инструкцию там, откуда модель возьмёт данные.
Варианты ответа
- Пользователь пишет боту «игнорируй предыдущие инструкции» в обход фильтров
- Вредоносная инструкция спрятана в данных, которые читает модель: письме, страницеправильный ответ
- Атака на токенайзер через редкие символы Unicode, которые модель читает как команды
- Подмена весов модели на сервере провайдера через уязвимость в цепочке поставки
Разбор
При косвенной инъекции атакующий не общается с ботом: он оставляет инструкцию там, откуда модель возьмёт данные. Поэтому опасны агенты, которые читают внешний контент и имеют инструменты. Фраза пользователя «игнорируй инструкции» это прямая инъекция. Атаки на токенайзер и подмена весов это другие классы угроз.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.