Ответ вслух Senior Безопасность и право обновлено

Как защитить ассистента от prompt injection через репозиторий

Вопрос

Ваш агент читает issue, README зависимостей и веб-страницы. Как вы защититесь от инструкций, спрятанных в этих текстах?

Попробуйте сами

Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.

Показать ответ и разбор

Коротко

Образцовый ответ: «Исхожу из того, что модель рано или поздно выполнит чужую инструкцию: она плохо отличает данные от команд. Поэтому защищаюсь правами.

Что должно прозвучать в ответе

  • Внешние тексты считаю недоверенным вводом

  • Защита правами, а не промптом: нет доступа к секретам

  • Сеть по allowlist, опасные команды и push с подтверждением

  • Песочница: контейнер без продовых ключей

  • Ревью диффа и журнал действий агента

Что могут спросить следом

  • Почему фраза в системном промпте «не слушай чужие инструкции» не решает проблему?

Разбор

Образцовый ответ: «Исхожу из того, что модель рано или поздно выполнит чужую инструкцию: она плохо отличает данные от команд. Поэтому защищаюсь правами. Агент работает в контейнере без продовых ключей и без моего SSH, сеть только к нужным адресам, push и сетевые команды через подтверждение. Тогда даже поддавшись инъекции, он не сможет ничего вынести. Результат смотрю как обычный дифф, а журнал команд помогает понять, если агент сделал что-то странное. Фраза в промпте снижает вероятность, но гарантий не даёт».

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.