- 28,501
- 46
- 8 Ноя 2022
Эксперимент должен был пройти в песочнице, но что-то пошло совсем не по плану.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Взлом платформы Hugging Face автономной системой ИИ-агентов, о котором мы рассказывали несколько дней назад, получил неожиданное продолжение. Выяснилось, что за атакой стояла не абстрактная хакерская группа, а собственные модели OpenAI, которые во время внутреннего тестирования вырвались из изолированной среды и атаковали инфраструктуру партнёра. Сама OpenAI назвала произошедшее беспрецедентным случаем, продемонстрировавшим пугающие кибервозможности современных ИИ-моделей.
Инцидент произошёл во время внутренней проверки, в ходе которой модели подталкивали к сложным атакам с длинными цепочками действий, чтобы оценить их реальные возможности в киберсфере. Для этого разработчики специально отключили часть защитных ограничений, обычно мешающих моделям выполнять опасные действия, — тестировали, что называется, «по максимуму». Тестовая среда была изолирована от внешнего мира: выход в интернет отсутствовал, а доступ ограничивался установкой пакетов через внутренний прокси-сервис.
Именно этот прокси и стал точкой входа. Модели — GPT-5.6 Sol и ещё более мощная предрелизная система — потратили значительную часть вычислительных ресурсов на поиск способа вырваться в открытый интернет и в итоге нашли уязвимость нулевого дня в этом сервисе. Получив доступ, они провели серию действий по повышению привилегий и перемещению между внутренними системами, пока не добрались до узла с выходом в интернет.
Оказавшись в сети, модели предположили, что Hugging Face может хранить материалы, полезные для решения тестового задания ExploitGym, и начали искать способ получить к ним доступ. В одном из эпизодов система объединила сразу несколько методов атаки — включая украденные учётные данные и уязвимость нулевого дня — и нашла путь для удалённого выполнения кода на серверах Hugging Face.
В итоге модели выстроили цепочку уязвимостей, которая связала исследовательскую среду самой OpenAI с производственной инфраструктурой Hugging Face, и добрались до готовых решений тестового задания прямо в боевой базе данных платформы.
Подозрительную активность параллельно заметили обе стороны: собственная служба безопасности OpenAI обнаружила её внутри своей среды, а система безопасности Hugging Face — на своих серверах, где к моменту подключения специалистов OpenAI уже шли сдерживание атаки и восстановление событий с помощью открытых моделей.
Доступ виртуальный «злоумышленник» получил лишь к ограниченному числу внутренних наборов данных и служебным учётным данным. Тем временем, общедоступные модели, датасеты и приложения Spaces, а также опубликованные контейнеры и пакеты — остались нетронутыми.
После инцидента OpenAI ввела более строгие правила настройки инфраструктуры для внутренних тестов, пожертвовав скоростью исследований, и регулярно отчитывается об этом перед собственным комитетом по безопасности. Уязвимость нулевого дня в прокси-сервисе устранили и сообщили о ней разработчику стороннего программного обеспечения.
Hugging Face же, в свою очередь, получила расширенный доступ к моделям OpenAI для усиления собственной защиты. Как отметили в OpenAI, эта ситуация наглядно показала, что развитие продвинутых киберспособностей моделей должно сопровождаться столь же быстрым развитием средств защиты и мониторинга.
Пользователям Hugging Face по-прежнему рекомендуют обновить токены доступа и проверить недавнюю активность в своих аккаунтах. На всякий случай.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Взлом платформы Hugging Face автономной системой ИИ-агентов, о котором мы рассказывали несколько дней назад, получил неожиданное продолжение. Выяснилось, что за атакой стояла не абстрактная хакерская группа, а собственные модели OpenAI, которые во время внутреннего тестирования вырвались из изолированной среды и атаковали инфраструктуру партнёра. Сама OpenAI назвала произошедшее беспрецедентным случаем, продемонстрировавшим пугающие кибервозможности современных ИИ-моделей.
Инцидент произошёл во время внутренней проверки, в ходе которой модели подталкивали к сложным атакам с длинными цепочками действий, чтобы оценить их реальные возможности в киберсфере. Для этого разработчики специально отключили часть защитных ограничений, обычно мешающих моделям выполнять опасные действия, — тестировали, что называется, «по максимуму». Тестовая среда была изолирована от внешнего мира: выход в интернет отсутствовал, а доступ ограничивался установкой пакетов через внутренний прокси-сервис.
Именно этот прокси и стал точкой входа. Модели — GPT-5.6 Sol и ещё более мощная предрелизная система — потратили значительную часть вычислительных ресурсов на поиск способа вырваться в открытый интернет и в итоге нашли уязвимость нулевого дня в этом сервисе. Получив доступ, они провели серию действий по повышению привилегий и перемещению между внутренними системами, пока не добрались до узла с выходом в интернет.
Оказавшись в сети, модели предположили, что Hugging Face может хранить материалы, полезные для решения тестового задания ExploitGym, и начали искать способ получить к ним доступ. В одном из эпизодов система объединила сразу несколько методов атаки — включая украденные учётные данные и уязвимость нулевого дня — и нашла путь для удалённого выполнения кода на серверах Hugging Face.
В итоге модели выстроили цепочку уязвимостей, которая связала исследовательскую среду самой OpenAI с производственной инфраструктурой Hugging Face, и добрались до готовых решений тестового задания прямо в боевой базе данных платформы.
Подозрительную активность параллельно заметили обе стороны: собственная служба безопасности OpenAI обнаружила её внутри своей среды, а система безопасности Hugging Face — на своих серверах, где к моменту подключения специалистов OpenAI уже шли сдерживание атаки и восстановление событий с помощью открытых моделей.
Доступ виртуальный «злоумышленник» получил лишь к ограниченному числу внутренних наборов данных и служебным учётным данным. Тем временем, общедоступные модели, датасеты и приложения Spaces, а также опубликованные контейнеры и пакеты — остались нетронутыми.
После инцидента OpenAI ввела более строгие правила настройки инфраструктуры для внутренних тестов, пожертвовав скоростью исследований, и регулярно отчитывается об этом перед собственным комитетом по безопасности. Уязвимость нулевого дня в прокси-сервисе устранили и сообщили о ней разработчику стороннего программного обеспечения.
Hugging Face же, в свою очередь, получила расширенный доступ к моделям OpenAI для усиления собственной защиты. Как отметили в OpenAI, эта ситуация наглядно показала, что развитие продвинутых киберспособностей моделей должно сопровождаться столь же быстрым развитием средств защиты и мониторинга.
Пользователям Hugging Face по-прежнему рекомендуют обновить токены доступа и проверить недавнюю активность в своих аккаунтах. На всякий случай.
- Источник новости
- www.securitylab.ru
