- 28,342
- 46
- 8 Ноя 2022
Одна строка текста теперь обезвреживает автономного ИИ-взломщика.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Автономные системы на базе искусственного интеллекта научились за считаные минуты повышать свои права в корпоративных сетях и похищать данные, но теперь специалисты нашли способ заставить такие программы остановить атаку самостоятельно.
Компания Tracebit испытала так называемые «контекстные бомбы», короткие скрытые строки, которые помещают в ложные секреты и другие приманки. Когда атакующий ИИ находит такую запись и добавляет её в рабочий контекст, защитные механизмы модели распознают опасное содержание и прекращают выполнять задание.
Метод сочетает остановку атаки и обнаружение вторжения. Приманка отправляет защитникам предупреждение сразу после чтения, а встроенная строка одновременно вызывает отказ модели продолжать работу. Обычные ложные ресурсы лишь сообщают о присутствии злоумышленника, тогда как новый подход способен затормозить саму атаку.
Специалисты проверили пять производительных моделей в тестовой учётной записи Amazon Web Services примерно с 300 ресурсами и десятью заранее подготовленными путями атаки. Модели получали доступ с небольшими правами, после чего пытались найти секреты, повысить привилегии, закрепиться в системе и вывести данные.
Всего команда оценила 152 запуска. Без приманок модели получали права администратора в среднем в 57% случаев, а после добавления одной «контекстной бомбы» показатель упал до 5%. Полный захват среды с получением административных прав и закреплением сократился с 36% до 1%.
Наиболее заметный результат показала Claude Opus 4.8. В чистой среде модель становилась администратором в 93% запусков, но не смогла сделать этого ни разу после появления защитной строки. Gemini 3.1 Pro также снизила результат с 70% до 0%.
Разные модели реагировали на разные темы. Западные системы чаще останавливались после упоминаний опасных биологических материалов, а китайские модели, подключённые через китайских поставщиков, реагировали на политически чувствительные темы. Дополнительные приёмы внедрения команд усиливали эффект, особенно когда строка находилась среди десятков тысяч других элементов контекста.
Защитный механизм не гарантирует полной остановки каждого ИИ-агента. Некоторые модели успевали провести разведку или выполнить менее опасные действия до чтения приманки. При этом ни одна успешная атака во время испытаний не прошла без предупреждения со стороны ложного секрета.
Tracebit опубликовала набор проверенных строк на GitHub . Компания считает метод дополнительным препятствием для автономных атак, а не заменой обычным средствам защиты и расследованию инцидентов.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Автономные системы на базе искусственного интеллекта научились за считаные минуты повышать свои права в корпоративных сетях и похищать данные, но теперь специалисты нашли способ заставить такие программы остановить атаку самостоятельно.
Компания Tracebit испытала так называемые «контекстные бомбы», короткие скрытые строки, которые помещают в ложные секреты и другие приманки. Когда атакующий ИИ находит такую запись и добавляет её в рабочий контекст, защитные механизмы модели распознают опасное содержание и прекращают выполнять задание.
Метод сочетает остановку атаки и обнаружение вторжения. Приманка отправляет защитникам предупреждение сразу после чтения, а встроенная строка одновременно вызывает отказ модели продолжать работу. Обычные ложные ресурсы лишь сообщают о присутствии злоумышленника, тогда как новый подход способен затормозить саму атаку.
Специалисты проверили пять производительных моделей в тестовой учётной записи Amazon Web Services примерно с 300 ресурсами и десятью заранее подготовленными путями атаки. Модели получали доступ с небольшими правами, после чего пытались найти секреты, повысить привилегии, закрепиться в системе и вывести данные.
Всего команда оценила 152 запуска. Без приманок модели получали права администратора в среднем в 57% случаев, а после добавления одной «контекстной бомбы» показатель упал до 5%. Полный захват среды с получением административных прав и закреплением сократился с 36% до 1%.
Наиболее заметный результат показала Claude Opus 4.8. В чистой среде модель становилась администратором в 93% запусков, но не смогла сделать этого ни разу после появления защитной строки. Gemini 3.1 Pro также снизила результат с 70% до 0%.
Разные модели реагировали на разные темы. Западные системы чаще останавливались после упоминаний опасных биологических материалов, а китайские модели, подключённые через китайских поставщиков, реагировали на политически чувствительные темы. Дополнительные приёмы внедрения команд усиливали эффект, особенно когда строка находилась среди десятков тысяч других элементов контекста.
Защитный механизм не гарантирует полной остановки каждого ИИ-агента. Некоторые модели успевали провести разведку или выполнить менее опасные действия до чтения приманки. При этом ни одна успешная атака во время испытаний не прошла без предупреждения со стороны ложного секрета.
Tracebit опубликовала набор проверенных строк на GitHub . Компания считает метод дополнительным препятствием для автономных атак, а не заменой обычным средствам защиты и расследованию инцидентов.
- Источник новости
- www.securitylab.ru
