- 27,783
- 46
- 8 Ноя 2022
Пока вы не читали этот текст, ваш агент мог уже получить новые приказы. От кого — хороший вопрос.
Чтобы заставить ИИ-агента выполнить опасную команду, необязательно прятать вредоносный код в архиве. Достаточно дать агенту ссылку на страницу с инструкцией, а затем заменить её содержимое. Компания AIR по информационной безопасности проверила схему на практике: создала безопидный пакет для ИИ-агентов, добилась публикации на популярной площадке, купила рекламу в <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Instagram</span> и уже после установки подменила текст на связанном сайте.
Пакет назывался brand-landingpage и обещал помочь создать посадочную страницу через сервис Google Stitch. ИИ-агент воспринимает подобный пакет как набор рабочих инструкций: как открыть сайт, что скачать, какие команды выполнить, с какими файлами работать. Пользователь может считать, что добавил агенту новую полезную функцию, а агент в этот момент получает право следовать чужим указаниям почти так же, как запросу владельца.
AIR решила проверить, насколько пользователи доверяют привычным признакам надёжности. Компания отправила запрос на добавление brand-landingpage в репозиторий с 156 пакетами и примерно 36 тыс. звёзд GitHub. Запрос приняли через несколько дней. Звёзды не принадлежали новому дополнению, но пакет оказался в известном каталоге и выглядел частью уже популярного проекта.
Следом AIR запустила рекламу в Instagram. Объявления увидели маркетологи, дизайнеры и сотрудники отделов продаж, которым инструмент для быстрого создания посадочных страниц мог показаться особенно полезным. По оценке самой компании, пакет установили около 26 тыс. ИИ-агентов, включая агентов в корпоративных учётных записях.
На момент установки brand-landingpage не делал ничего опасного. AIR специально ограничила эксперимент сбором адресов электронной почты. Полученные адреса помогли посчитать число агентов, которые перешли по инструкции. Компания не публиковала независимого подтверждения охвата, поэтому цифру в 26 тыс. установок и сведения о корпоративных аккаунтах нужно воспринимать как заявление авторов эксперимента.
Проверяющие сервисы тоже не увидели угрозы. AIR прогнала пакет через сканеры Cisco и NVIDIA, а также через инструменты, подключённые к skills.sh. Все они признали архив безопасным. Причина проста: сканеры изучили файл SKILL.md и вложения, но не стали открывать страницу, куда инструкция отправляла агента.
Внутри brand-landingpage не было собственных шагов по установке. Пакет предлагал агенту скачать комплект Stitch SDK и перейти для этого на сайт stitch-design.ai. Домен принадлежал AIR, хотя настоящая документация Google Stitch находится на stitch.withgoogle.com. Сначала страница AIR вела на официальный сайт Google. Архив выглядел чисто, ссылка казалась правдоподобной, а агенту предлагали обычное действие: открыть документацию и выполнить её рекомендации.
Когда пакет уже разошёлся по пользователям, AIR переписала страницу. Вместо документации сайт начал предлагать скачать и запустить скрипт. В учебной версии скрипт отправлял только адрес электронной почты. Настоящий злоумышленник мог бы заменить его программой для кражи файлов, передачи рабочих документов на внешний сервер или доступа к внутренним ресурсам компании. Агент выполнил бы команду в пределах разрешений, которые владелец выдал для обычной работы.
Проблема кроется в самой схеме проверки. Сканер видит архив ровно в том виде, в каком его загрузили на площадку. Сайт за пределами архива может меняться сколько угодно раз. Пользователь устанавливает безопасный пакет, а позже агент открывает ту же ссылку и читает уже совсем другую инструкцию. Документация Anthropic отдельно предупреждает о риске материалов, загружаемых по внешним адресам : содержимое страницы легко подменить после одобрения пакета.
AIR показала не единственную слабость рынка. За несколько недель до эксперимента исследователи Trail of Bits обошли детекторы вредоносных пакетов на ClawHub, Cisco и skills.sh. Методы отличались от подмены страницы, но вывод совпал: автоматическая проверка не гарантирует безопасности, если автор дополнения умеет спрятать опасную часть за пределами проверяемых файлов. Независимый разбор экспериментов Trail of Bits
Проверки нередко расходятся и между собой. Один сервис может заметить подозрительный текст, другой ищет известные вредоносные файлы, третий анализирует сетевые обращения. Из-за разных подходов один и тот же пакет получает противоположные оценки, а страницы и скрипты , на которые ведут инструкции, часто остаются вне поля зрения. Исследование о расхождениях между сканерами показало, что большинство подозрительных пакетов отмечает лишь один инструмент.
Компаниям, которые используют ИИ-агентов, стоит начать с простой проверки: выяснить, какие дополнения уже установлены и откуда агенты получают инструкции. Новые пакеты лучше добавлять через внутренний каталог, а не разрешать сотрудникам скачивать их с любых площадок. Проверять нужно не только содержимое архива, но и сайты, скрипты, репозитории и установочные страницы, на которые ведут ссылки.
Не менее важны права агента . Инструменту для создания презентаций или посадочных страниц не нужен доступ ко всем рабочим файлам, корпоративной сети и секретам из переменных окружения. Версии дополнений стоит закреплять, а внешние страницы проверять повторно при изменениях. Иначе безопасный архив может остаться прежним, а команда, которую агент получит после перехода по ссылке, станет опасной.
AIR завершает публикацию рекламой собственной площадки для управляемого распространения дополнений, поэтому коммерческие выводы компании требуют осторожности. Однако сам опыт показывает неприятную вещь: звёзды GitHub говорят о популярности репозитория, зелёная отметка сообщает только о прошлом результате проверки, а одна страница под чужим контролем способна перечеркнуть оба признака доверия.
* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.
Чтобы заставить ИИ-агента выполнить опасную команду, необязательно прятать вредоносный код в архиве. Достаточно дать агенту ссылку на страницу с инструкцией, а затем заменить её содержимое. Компания AIR по информационной безопасности проверила схему на практике: создала безопидный пакет для ИИ-агентов, добилась публикации на популярной площадке, купила рекламу в <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Instagram</span> и уже после установки подменила текст на связанном сайте.
Пакет назывался brand-landingpage и обещал помочь создать посадочную страницу через сервис Google Stitch. ИИ-агент воспринимает подобный пакет как набор рабочих инструкций: как открыть сайт, что скачать, какие команды выполнить, с какими файлами работать. Пользователь может считать, что добавил агенту новую полезную функцию, а агент в этот момент получает право следовать чужим указаниям почти так же, как запросу владельца.
AIR решила проверить, насколько пользователи доверяют привычным признакам надёжности. Компания отправила запрос на добавление brand-landingpage в репозиторий с 156 пакетами и примерно 36 тыс. звёзд GitHub. Запрос приняли через несколько дней. Звёзды не принадлежали новому дополнению, но пакет оказался в известном каталоге и выглядел частью уже популярного проекта.
Следом AIR запустила рекламу в Instagram. Объявления увидели маркетологи, дизайнеры и сотрудники отделов продаж, которым инструмент для быстрого создания посадочных страниц мог показаться особенно полезным. По оценке самой компании, пакет установили около 26 тыс. ИИ-агентов, включая агентов в корпоративных учётных записях.
На момент установки brand-landingpage не делал ничего опасного. AIR специально ограничила эксперимент сбором адресов электронной почты. Полученные адреса помогли посчитать число агентов, которые перешли по инструкции. Компания не публиковала независимого подтверждения охвата, поэтому цифру в 26 тыс. установок и сведения о корпоративных аккаунтах нужно воспринимать как заявление авторов эксперимента.
Проверяющие сервисы тоже не увидели угрозы. AIR прогнала пакет через сканеры Cisco и NVIDIA, а также через инструменты, подключённые к skills.sh. Все они признали архив безопасным. Причина проста: сканеры изучили файл SKILL.md и вложения, но не стали открывать страницу, куда инструкция отправляла агента.
Внутри brand-landingpage не было собственных шагов по установке. Пакет предлагал агенту скачать комплект Stitch SDK и перейти для этого на сайт stitch-design.ai. Домен принадлежал AIR, хотя настоящая документация Google Stitch находится на stitch.withgoogle.com. Сначала страница AIR вела на официальный сайт Google. Архив выглядел чисто, ссылка казалась правдоподобной, а агенту предлагали обычное действие: открыть документацию и выполнить её рекомендации.
Когда пакет уже разошёлся по пользователям, AIR переписала страницу. Вместо документации сайт начал предлагать скачать и запустить скрипт. В учебной версии скрипт отправлял только адрес электронной почты. Настоящий злоумышленник мог бы заменить его программой для кражи файлов, передачи рабочих документов на внешний сервер или доступа к внутренним ресурсам компании. Агент выполнил бы команду в пределах разрешений, которые владелец выдал для обычной работы.
Проблема кроется в самой схеме проверки. Сканер видит архив ровно в том виде, в каком его загрузили на площадку. Сайт за пределами архива может меняться сколько угодно раз. Пользователь устанавливает безопасный пакет, а позже агент открывает ту же ссылку и читает уже совсем другую инструкцию. Документация Anthropic отдельно предупреждает о риске материалов, загружаемых по внешним адресам : содержимое страницы легко подменить после одобрения пакета.
AIR показала не единственную слабость рынка. За несколько недель до эксперимента исследователи Trail of Bits обошли детекторы вредоносных пакетов на ClawHub, Cisco и skills.sh. Методы отличались от подмены страницы, но вывод совпал: автоматическая проверка не гарантирует безопасности, если автор дополнения умеет спрятать опасную часть за пределами проверяемых файлов. Независимый разбор экспериментов Trail of Bits
Проверки нередко расходятся и между собой. Один сервис может заметить подозрительный текст, другой ищет известные вредоносные файлы, третий анализирует сетевые обращения. Из-за разных подходов один и тот же пакет получает противоположные оценки, а страницы и скрипты , на которые ведут инструкции, часто остаются вне поля зрения. Исследование о расхождениях между сканерами показало, что большинство подозрительных пакетов отмечает лишь один инструмент.
Компаниям, которые используют ИИ-агентов, стоит начать с простой проверки: выяснить, какие дополнения уже установлены и откуда агенты получают инструкции. Новые пакеты лучше добавлять через внутренний каталог, а не разрешать сотрудникам скачивать их с любых площадок. Проверять нужно не только содержимое архива, но и сайты, скрипты, репозитории и установочные страницы, на которые ведут ссылки.
Не менее важны права агента . Инструменту для создания презентаций или посадочных страниц не нужен доступ ко всем рабочим файлам, корпоративной сети и секретам из переменных окружения. Версии дополнений стоит закреплять, а внешние страницы проверять повторно при изменениях. Иначе безопасный архив может остаться прежним, а команда, которую агент получит после перехода по ссылке, станет опасной.
AIR завершает публикацию рекламой собственной площадки для управляемого распространения дополнений, поэтому коммерческие выводы компании требуют осторожности. Однако сам опыт показывает неприятную вещь: звёзды GitHub говорят о популярности репозитория, зелёная отметка сообщает только о прошлом результате проверки, а одна страница под чужим контролем способна перечеркнуть оба признака доверия.
* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.
- Источник новости
- www.securitylab.ru
