Выдуманные пакеты
Вопрос
Ассистент для разработчиков иногда советует установить пакет, которого не существует. Чем это опасно?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Варианты ответа
- Ничем: менеджер пакетов просто вернёт ошибку «пакет не найден»
- Только тем, что пользователь потратит время на поиск и установку
- Злоумышленники регистрируют «галлюцинируемые» имена и кладут туда вредоносный кодправильный ответ
- Пакетные менеджеры блокируют аккаунт пользователя за повторные установки несуществующих пакетов
Разбор
Если модель устойчиво выдумывает одно и то же имя, атакующий может опубликовать пакет с этим именем, и следующая установка выполнит его код. Защита: проверять существование и репутацию пакетов, использовать внутренние зеркала и белые списки, не ставить зависимости из ответов модели без проверки. Ошибка «не найдено» безопасна только пока пакет действительно не существует. Блокировок за такие попытки нет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Вывод модели как недоверенный ввод
Следующий вопрос
Персональные данные и внешний провайдер
Ещё по теме «Безопасность LLM»
- Прямая и косвенная инъекция
- Слои защиты от инъекций
- Каналы утечки данных
- Маскирование персональных данных перед отправкой в модель
- Спроектируйте модерацию для пользовательского контента
- Косвенная prompt injection
- Минимальные права агента
- Утечка через markdown-картинку