- 28,080
- 46
- 8 Ноя 2022
DeepKeep показала, как невидимая инструкция в картинке может заставить модель создать лишнего администратора.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Исследователи DeepKeep показали новую атаку на мультимодальные ИИ-системы, где вредоносная команда прячется не в тексте, а прямо внутри картинки. Такой прием получил название InkJect и бьет по слабому месту современных защит, которые хорошо ищут подозрительные инструкции в промптах, но хуже понимают, что модель может прочитать глазами.
Сценарий выглядит почти буднично. Пользователь просит ИИ развернуть сайт из публичного репозитория. Модель забирает код, смотрит файлы проекта, обрабатывает изображения и выполняет задачу. В одном из файлов лежит картинка со скрытой инструкцией, после чего ИИ незаметно создает учетную запись администратора с заданными атакующим данными. Сайт при этом развернут, пользователь видит нормальный результат, а лишняя привилегированная учетная запись остается в бэкенде.
DeepKeep называет InkJect непрямой визуальной prompt injection. Атакующему не нужно отправлять жертве картинку, взламывать сессию или ждать, пока пользователь вручную загрузит файл. Достаточно разместить изображение там, куда ИИ-агент сам полезет во время обычной работы. Публичный репозиторий, библиотека ассетов, сайт с картинками или общий каталог превращаются в канал доставки команды.
Исследователи описали две техники обхода защит. В первом варианте инструкция написана белым или почти белым текстом на белом фоне, поэтому человек и обычные сканеры видят пустое изображение. Мультимодальная модель при этом распознает смысл и выполняет команду. Во втором варианте текст поворачивают, искажают или деформируют, чтобы сломать OCR. Фильтр получает мусор или пустой результат, а модель все равно читает исходную инструкцию.
Главная проблема не в одном конкретном фильтре, а в разрыве между OCR и визуально-языковыми моделями. OCR ищет символы по ожидаемым шаблонам, а мультимодальная модель интерпретирует изображение шире и умеет вытаскивать смысл из плохого контраста, шума, искажений и необычной перспективы. Защита, которая сначала прогоняет картинку через OCR, а потом проверяет извлеченный текст обычными правилами, оставляет слепую зону.
По данным DeepKeep , исследователи проверили InkJect на четырех продакшн-моделях OpenAI и Anthropic. В список попали GPT-5.2, GPT-5.4 Mini, Claude Sonnet 4.6 и Claude Opus 4.5. Все четыре модели выполнили скрытые инструкции в обоих вариантах атаки, хотя те же команды в обычном текстовом виде вызвали бы отказ. DeepKeep также заявляет, что заранее сообщила о находке OpenAI и Anthropic.
Практический риск растет вместе с ИИ-агентами, которые получают доступ к репозиториям, терминалам, системам деплоя и облачной инфраструктуре. Когда модель не просто отвечает на вопрос, а меняет окружение, создает учетные записи или запускает команды, визуальная инъекция перестает быть лабораторным трюком. Один зараженный ассет может сработать против любого пользователя или команды, чьи агенты автоматически обработают файл.
InkJect показывает, что защита мультимодальных систем не может ограничиваться текстовыми правилами. Команды внутри картинок нужно проверять на уровне визуального восприятия, а действия агента нужно ограничивать политиками доступа, журналированием и подтверждениями для операций с высоким риском. Иначе пустая на вид картинка может оказаться полноценной инструкцией для ИИ, который уже получил право действовать.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Исследователи DeepKeep показали новую атаку на мультимодальные ИИ-системы, где вредоносная команда прячется не в тексте, а прямо внутри картинки. Такой прием получил название InkJect и бьет по слабому месту современных защит, которые хорошо ищут подозрительные инструкции в промптах, но хуже понимают, что модель может прочитать глазами.
Сценарий выглядит почти буднично. Пользователь просит ИИ развернуть сайт из публичного репозитория. Модель забирает код, смотрит файлы проекта, обрабатывает изображения и выполняет задачу. В одном из файлов лежит картинка со скрытой инструкцией, после чего ИИ незаметно создает учетную запись администратора с заданными атакующим данными. Сайт при этом развернут, пользователь видит нормальный результат, а лишняя привилегированная учетная запись остается в бэкенде.
DeepKeep называет InkJect непрямой визуальной prompt injection. Атакующему не нужно отправлять жертве картинку, взламывать сессию или ждать, пока пользователь вручную загрузит файл. Достаточно разместить изображение там, куда ИИ-агент сам полезет во время обычной работы. Публичный репозиторий, библиотека ассетов, сайт с картинками или общий каталог превращаются в канал доставки команды.
Исследователи описали две техники обхода защит. В первом варианте инструкция написана белым или почти белым текстом на белом фоне, поэтому человек и обычные сканеры видят пустое изображение. Мультимодальная модель при этом распознает смысл и выполняет команду. Во втором варианте текст поворачивают, искажают или деформируют, чтобы сломать OCR. Фильтр получает мусор или пустой результат, а модель все равно читает исходную инструкцию.
Главная проблема не в одном конкретном фильтре, а в разрыве между OCR и визуально-языковыми моделями. OCR ищет символы по ожидаемым шаблонам, а мультимодальная модель интерпретирует изображение шире и умеет вытаскивать смысл из плохого контраста, шума, искажений и необычной перспективы. Защита, которая сначала прогоняет картинку через OCR, а потом проверяет извлеченный текст обычными правилами, оставляет слепую зону.
По данным DeepKeep , исследователи проверили InkJect на четырех продакшн-моделях OpenAI и Anthropic. В список попали GPT-5.2, GPT-5.4 Mini, Claude Sonnet 4.6 и Claude Opus 4.5. Все четыре модели выполнили скрытые инструкции в обоих вариантах атаки, хотя те же команды в обычном текстовом виде вызвали бы отказ. DeepKeep также заявляет, что заранее сообщила о находке OpenAI и Anthropic.
Практический риск растет вместе с ИИ-агентами, которые получают доступ к репозиториям, терминалам, системам деплоя и облачной инфраструктуре. Когда модель не просто отвечает на вопрос, а меняет окружение, создает учетные записи или запускает команды, визуальная инъекция перестает быть лабораторным трюком. Один зараженный ассет может сработать против любого пользователя или команды, чьи агенты автоматически обработают файл.
InkJect показывает, что защита мультимодальных систем не может ограничиваться текстовыми правилами. Команды внутри картинок нужно проверять на уровне визуального восприятия, а действия агента нужно ограничивать политиками доступа, журналированием и подтверждениями для операций с высоким риском. Иначе пустая на вид картинка может оказаться полноценной инструкцией для ИИ, который уже получил право действовать.
- Источник новости
- www.securitylab.ru
