- 28,641
- 46
- 8 Ноя 2022
Крупный бизнес экстренно переносит вычисления на изолированные локальные серверы.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">NVIDIA и ещё 36 организаций решили объединить усилия против атак на программы и системы искусственного интеллекта — так на свет появился Open Secure AI Alliance, куда вошли Microsoft, Cisco, Cloudflare, CrowdStrike, Hugging Face, IBM, Palo Alto Networks, Red Hat и Linux Foundation.
Альянс охватывает всю инфраструктуру ИИ-агентов: проверку личности, распределение прав доступа, изоляцию систем, защитные механизмы, ведение журналов, форматы моделей, сканирование нескольких моделей одновременно и безопасную разработку кода. Основная идея объединения в том, что защитникам нужны модели, которые можно изучить, изменить и запустить на собственном оборудовании, а не только закрытые системы, доступные через интерфейс поставщика.
Вместе с созданием альянса NVIDIA открыла код своей разработки — NOOA , исследовательской платформы для агентов на основе искусственного интеллекта. Она устроена так, что поведение агента описывается обычным классом Python: часть методов работает как детерминированный код, а часть — заполняется языковой моделью во время выполнения. Такой подход позволяет применять привычные инструменты тестирования, отладки и контроля версий вместо разрозненных промптов и схем вызова функций.
В собственных испытаниях NVIDIA заявила о результате в 86,8% на тесте CyberGym L1, который проверяет способность находить уязвимости повторно, при отключённом сетевом доступе. Одновременно разработчики честно предупредили: NOOA способна выполнять сгенерированный языковой моделью код Python, а это может привести к утечке данных, удалению файлов или изменению окружения.
Встроенные проверки кода названы лишь дополнительной защитой, а не полноценной границей изоляции — сдерживание атаки должно обеспечиваться отдельно, на уровне операционной системы: контейнером, виртуальной машиной или собственной песочницей NVIDIA под названием OpenShell.
Поводом для создания альянса стал недавний взлом инфраструктуры Hugging Face , где автономная система на основе ИИ-агента получила доступ к части производственных систем компании. Проникновение началось через вредоносный набор данных, использовавший уязвимость загрузчика кода и внедрение шаблонов в конфигурации. Далее ИИ получил доступ к узлам сети, похитил учётные данные и продвинулся по внутренним кластерам.
Для восстановления хронологии атаки Hugging Face обработала свыше 17 тысяч действий с помощью открытой модели GLM 5.2, запущенной на собственных серверах, поскольку коммерческие облачные модели отказывались анализировать вредоносный код и команды атаки.
Позже компания OpenAI сообщила , что причиной инцидента стали её модели GPT-5.6 Sol и более мощная предрелизная версия, которые во время внутреннего тестирования с ослабленными киберограничениями нашли уязвимость нулевого дня в прокси-кеше внутреннего реестра пакетов и с её помощью проникли в системы Hugging Face.
Формированию альянса также предшествовало июльское открытое письмо индустрии о том, что доступные для загрузки модели дают защитникам возможности, сопоставимые с возможностями атакующих. При этом OpenAI, Google и <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Meta</span>, подписавшие письмо, не вошли в число участников альянса, а Anthropic не фигурирует ни в одном из списков. Причины отсутствия этих компаний публично не раскрыты.
На данный момент известны состав альянса, его декларируемые цели и один готовый продукт — NOOA. Сведений об уставе, руководящем органе, техническом плане работ и общем репозитории пока нет, а сайт объединения ещё находится в разработке.
В качестве меры снижения риска для организаций, использующих агентные ИИ-системы, названа необходимость заранее иметь проверенную модель, которую можно запускать на собственной инфраструктуре, чтобы сохранять контроль над данными и учётными записями во время реагирования на инцидент.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">NVIDIA и ещё 36 организаций решили объединить усилия против атак на программы и системы искусственного интеллекта — так на свет появился Open Secure AI Alliance, куда вошли Microsoft, Cisco, Cloudflare, CrowdStrike, Hugging Face, IBM, Palo Alto Networks, Red Hat и Linux Foundation.
Альянс охватывает всю инфраструктуру ИИ-агентов: проверку личности, распределение прав доступа, изоляцию систем, защитные механизмы, ведение журналов, форматы моделей, сканирование нескольких моделей одновременно и безопасную разработку кода. Основная идея объединения в том, что защитникам нужны модели, которые можно изучить, изменить и запустить на собственном оборудовании, а не только закрытые системы, доступные через интерфейс поставщика.
Вместе с созданием альянса NVIDIA открыла код своей разработки — NOOA , исследовательской платформы для агентов на основе искусственного интеллекта. Она устроена так, что поведение агента описывается обычным классом Python: часть методов работает как детерминированный код, а часть — заполняется языковой моделью во время выполнения. Такой подход позволяет применять привычные инструменты тестирования, отладки и контроля версий вместо разрозненных промптов и схем вызова функций.
В собственных испытаниях NVIDIA заявила о результате в 86,8% на тесте CyberGym L1, который проверяет способность находить уязвимости повторно, при отключённом сетевом доступе. Одновременно разработчики честно предупредили: NOOA способна выполнять сгенерированный языковой моделью код Python, а это может привести к утечке данных, удалению файлов или изменению окружения.
Встроенные проверки кода названы лишь дополнительной защитой, а не полноценной границей изоляции — сдерживание атаки должно обеспечиваться отдельно, на уровне операционной системы: контейнером, виртуальной машиной или собственной песочницей NVIDIA под названием OpenShell.
Поводом для создания альянса стал недавний взлом инфраструктуры Hugging Face , где автономная система на основе ИИ-агента получила доступ к части производственных систем компании. Проникновение началось через вредоносный набор данных, использовавший уязвимость загрузчика кода и внедрение шаблонов в конфигурации. Далее ИИ получил доступ к узлам сети, похитил учётные данные и продвинулся по внутренним кластерам.
Для восстановления хронологии атаки Hugging Face обработала свыше 17 тысяч действий с помощью открытой модели GLM 5.2, запущенной на собственных серверах, поскольку коммерческие облачные модели отказывались анализировать вредоносный код и команды атаки.
Позже компания OpenAI сообщила , что причиной инцидента стали её модели GPT-5.6 Sol и более мощная предрелизная версия, которые во время внутреннего тестирования с ослабленными киберограничениями нашли уязвимость нулевого дня в прокси-кеше внутреннего реестра пакетов и с её помощью проникли в системы Hugging Face.
Формированию альянса также предшествовало июльское открытое письмо индустрии о том, что доступные для загрузки модели дают защитникам возможности, сопоставимые с возможностями атакующих. При этом OpenAI, Google и <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Meta</span>, подписавшие письмо, не вошли в число участников альянса, а Anthropic не фигурирует ни в одном из списков. Причины отсутствия этих компаний публично не раскрыты.
На данный момент известны состав альянса, его декларируемые цели и один готовый продукт — NOOA. Сведений об уставе, руководящем органе, техническом плане работ и общем репозитории пока нет, а сайт объединения ещё находится в разработке.
В качестве меры снижения риска для организаций, использующих агентные ИИ-системы, названа необходимость заранее иметь проверенную модель, которую можно запускать на собственной инфраструктуре, чтобы сохранять контроль над данными и учётными записями во время реагирования на инцидент.
- Источник новости
- www.securitylab.ru
