Выбор ответа Middle Безопасность LLM обновлено
Вывод модели как недоверенный ввод
Вопрос
Ответ модели вставляется на страницу через innerHTML. Чем это опасно?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: XSS: модель под инъекцией или случайно вернёт HTML со скриптом; нужно экранировать. Вывод модели нужно обрабатывать как ввод от недоверенного пользователя: экранировать, санитизировать HTML, не выполнять сгенерированный SQL и shell без проверки.
Варианты ответа
- XSS: модель под инъекцией или случайно вернёт HTML со скриптом; нужно экранироватьправильный ответ
- Ничем: провайдеры фильтруют HTML и скрипты в ответах модели на своей стороне
- Только тем, что вёрстка может поехать из-за незакрытых тегов в ответе модели
- Опасно, только если модель дообучена на данных из интернета с вредоносным кодом
Разбор
Вывод модели нужно обрабатывать как ввод от недоверенного пользователя: экранировать, санитизировать HTML, не выполнять сгенерированный SQL и shell без проверки. Модели прекрасно генерируют HTML и JavaScript. Сломанная верстка меньшая из проблем. Дообучение здесь ни при чём.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Ещё по теме «Безопасность LLM»
- Прямая и косвенная инъекция
- Слои защиты от инъекций
- Каналы утечки данных
- Маскирование персональных данных перед отправкой в модель
- Спроектируйте модерацию для пользовательского контента
- Косвенная prompt injection
- Минимальные права агента
- Утечка через markdown-картинку