- 28,322
- 46
- 8 Ноя 2022
Встроенная в нейросети этика стала главной проблемой киберпреступников.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
Вредоносные команды , спрятанные внутри текста или файлов, годами служили инструментом для взлома систем на основе искусственного интеллекта, а теперь тот же приём начали использовать те, кто эти системы защищает.
Специалисты компании Tracebit обнаружили , что размещение специальных инструкций рядом с паролями, ключами доступа и другими секретными данными в облачной инфраструктуре Amazon Web Services способно останавливать атаки автономных ИИ-агентов, взламывающих чужие аккаунты. Такие инструкции заставляют атакующую языковую модель выполнить действие, запрещённое её внутренними правилами безопасности, — и модель вместо продолжения атаки просто отказывается работать дальше. Технику назвали «context bombing» — «бомбардировка контекста».
Механизм строится на подмене приманки. Рядом с реальными учётными данными размещают фальшивый секрет, а внутри него — команду, которая провоцирует срабатывание защитного механизма модели, например, запрос на создание биологического оружия или упоминание политически чувствительной темы. Как только атакующая модель натыкается на такую строку, она перестаёт выполнять исходную задачу и, по наблюдениям исследователей, уже не возвращается к прежнему поведению в рамках этой сессии.
Компания проверила метод на пяти современных моделях — Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro и Kimi K2.6 — в смоделированной среде AWS , поставив перед ними задачи атакующей команды, которые вели к перебору ресурсов и обнаружению ловушки. Из 152 тестовых прогонов доля случаев, когда агент получал полный административный доступ, снизилась с 57 до 5 процентов, а доля атак с закреплением в системе — с 36 до 1 процента.
Число успешно реализованных путей атаки в среднем за один запуск упало с 1,53 до 0,16. Наиболее результативная модель, Opus 4.8, добивалась административного доступа в 93 процентах случаев без защиты и не смогла сделать этого ни разу при её включении.
Разработка стала продолжением более раннего проекта Tracebit — фальшивых ресурсов-приманок, которые оповещают защитников о начале атаки. В предыдущих тестах автономные модели получали административные права в среднем за 14 минут, а ловушки давали защитникам медианную фору примерно в восемь минут до первого критического действия. Даже такое окно показалось разработчикам слишком коротким, что и подтолкнуло к созданию способа не просто предупреждать об атаке, а сразу её останавливать.
Ранее похожий приём применяли сами злоумышленники: в прошлом месяце специалисты компании Socket обнаружили вредоносный код с инструкциями, которые должны были заставить анализирующие его модели отказаться от проверки файлов. Похожий образец вредоносного кода выявили и в компании Check Point. По словам доцента Калифорнийского университета в Сан-Диего Эрленса Фернандеса, ранее подобный подход в защитных целях никто публично не описывал.
Полностью устранить уязвимость языковых моделей к встроенным командам пока не удаётся, поэтому разработчикам приходится создавать многослойные системы защиты. Размещение ловушек с провоцирующими отказ инструкциями рядом с реальными секретами может стать одним из практических способов снизить риск взлома облачной инфраструктуры автономными ИИ-агентами .
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
Вредоносные команды , спрятанные внутри текста или файлов, годами служили инструментом для взлома систем на основе искусственного интеллекта, а теперь тот же приём начали использовать те, кто эти системы защищает.
Специалисты компании Tracebit обнаружили , что размещение специальных инструкций рядом с паролями, ключами доступа и другими секретными данными в облачной инфраструктуре Amazon Web Services способно останавливать атаки автономных ИИ-агентов, взламывающих чужие аккаунты. Такие инструкции заставляют атакующую языковую модель выполнить действие, запрещённое её внутренними правилами безопасности, — и модель вместо продолжения атаки просто отказывается работать дальше. Технику назвали «context bombing» — «бомбардировка контекста».
Механизм строится на подмене приманки. Рядом с реальными учётными данными размещают фальшивый секрет, а внутри него — команду, которая провоцирует срабатывание защитного механизма модели, например, запрос на создание биологического оружия или упоминание политически чувствительной темы. Как только атакующая модель натыкается на такую строку, она перестаёт выполнять исходную задачу и, по наблюдениям исследователей, уже не возвращается к прежнему поведению в рамках этой сессии.
Компания проверила метод на пяти современных моделях — Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro и Kimi K2.6 — в смоделированной среде AWS , поставив перед ними задачи атакующей команды, которые вели к перебору ресурсов и обнаружению ловушки. Из 152 тестовых прогонов доля случаев, когда агент получал полный административный доступ, снизилась с 57 до 5 процентов, а доля атак с закреплением в системе — с 36 до 1 процента.
Число успешно реализованных путей атаки в среднем за один запуск упало с 1,53 до 0,16. Наиболее результативная модель, Opus 4.8, добивалась административного доступа в 93 процентах случаев без защиты и не смогла сделать этого ни разу при её включении.
Разработка стала продолжением более раннего проекта Tracebit — фальшивых ресурсов-приманок, которые оповещают защитников о начале атаки. В предыдущих тестах автономные модели получали административные права в среднем за 14 минут, а ловушки давали защитникам медианную фору примерно в восемь минут до первого критического действия. Даже такое окно показалось разработчикам слишком коротким, что и подтолкнуло к созданию способа не просто предупреждать об атаке, а сразу её останавливать.
Ранее похожий приём применяли сами злоумышленники: в прошлом месяце специалисты компании Socket обнаружили вредоносный код с инструкциями, которые должны были заставить анализирующие его модели отказаться от проверки файлов. Похожий образец вредоносного кода выявили и в компании Check Point. По словам доцента Калифорнийского университета в Сан-Диего Эрленса Фернандеса, ранее подобный подход в защитных целях никто публично не описывал.
Полностью устранить уязвимость языковых моделей к встроенным командам пока не удаётся, поэтому разработчикам приходится создавать многослойные системы защиты. Размещение ловушек с провоцирующими отказ инструкциями рядом с реальными секретами может стать одним из практических способов снизить риск взлома облачной инфраструктуры автономными ИИ-агентами .
- Источник новости
- www.securitylab.ru
