- 28,386
- 46
- 8 Ноя 2022
Новая модель OpenAI научилась обходить защиту ИИ-систем в 84% случаев.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">OpenAI создала специальную модель для поиска слабых мест в других системах искусственного интеллекта. GPT-Red сама придумывает атаки, проверяет защиту и помогает обучать новые версии GPT так, чтобы вредоносные команды из писем, сайтов и файлов срабатывали реже.
Одна из главных угроз для современных ИИ-помощников связана со скрытыми инструкциями во внешних данных. Злоумышленник может встроить команду в веб-страницу, электронное письмо, ответ подключенного сервиса или программный код. Модель способна принять такую команду за доверенную и, например, отправить секретные данные на чужой сервер.
Обычно подобные уязвимости ищут люди, которые вручную составляют опасные запросы и проверяют реакцию системы. Такой подход требует много времени и не позволяет получить достаточно разнообразных примеров для обучения. GPT-Red автоматизирует процесс: модель отправляет пробный запрос, анализирует ответ, меняет тактику и повторяет попытку, пока не добьется нужного результата.
Чтобы обучить GPT-Red, OpenAI применила метод самоигры. GPT-Red пыталась вызвать нарушение, а несколько защищающихся моделей учились распознавать атаку и продолжать исходную задачу. По мере того как защита усиливалась, атакующей стороне приходилось искать более сложные приемы.
К моменту, когда обучение завершилось, GPT-Red успешно обходила защиту почти всех систем, с которыми сталкивалась, включая внутренние и серийные модели вплоть до GPT-5.5. Затем вредоносные инструкции, которые она создала, использовали, чтобы обучить GPT-5.6 Sol.
По данным OpenAI, GPT-5.6 Sol ошибается в шесть раз реже в самом сложном испытании с прямыми внедренными командами, чем лучшая серийная модель компании четырьмя месяцами ранее. Когда модель проверили на отдельном наборе сценариев, GPT-Red добилась успеха в 84% случаев, тогда как люди смогли провести результативные атаки только в 13% случаев.
В одном из практических испытаний GPT-Red атаковала автономную систему, управлявшую торговым автоматом в офисе OpenAI. Модель заставила автомат снизить цену дорогого товара до $0,50, заказать товар дороже $100 и выставить его по той же цене, а также отменить заказ другого покупателя. Разработчики системы получили сведения об уязвимостях и начали проверять новые меры защиты.
GPT-Red также атаковала программного помощника на базе GPT-5.4 mini и пыталась похитить конфиденциальные данные в десяти разных сценариях. Специально обученная модель справилась с большим числом задач и потратила меньше вычислительных ресурсов, чем GPT-5.5 с обычными инструкциями.
OpenAI не планирует открывать доступ к GPT-Red. Компания намеренно обучала модель вредоносным приемам, поэтому держит ее отдельно от общедоступных продуктов. Полученные атаки применяют только для того, чтобы усилить серийные системы. Компания продолжит сочетать автоматические проверки с работой людей, независимыми испытаниями, многоуровневой защитой и постоянным наблюдением за уже запущенными моделями. Более подробное описание метода OpenAI обещает опубликовать в отдельной научной работе.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">OpenAI создала специальную модель для поиска слабых мест в других системах искусственного интеллекта. GPT-Red сама придумывает атаки, проверяет защиту и помогает обучать новые версии GPT так, чтобы вредоносные команды из писем, сайтов и файлов срабатывали реже.
Одна из главных угроз для современных ИИ-помощников связана со скрытыми инструкциями во внешних данных. Злоумышленник может встроить команду в веб-страницу, электронное письмо, ответ подключенного сервиса или программный код. Модель способна принять такую команду за доверенную и, например, отправить секретные данные на чужой сервер.
Обычно подобные уязвимости ищут люди, которые вручную составляют опасные запросы и проверяют реакцию системы. Такой подход требует много времени и не позволяет получить достаточно разнообразных примеров для обучения. GPT-Red автоматизирует процесс: модель отправляет пробный запрос, анализирует ответ, меняет тактику и повторяет попытку, пока не добьется нужного результата.
Чтобы обучить GPT-Red, OpenAI применила метод самоигры. GPT-Red пыталась вызвать нарушение, а несколько защищающихся моделей учились распознавать атаку и продолжать исходную задачу. По мере того как защита усиливалась, атакующей стороне приходилось искать более сложные приемы.
К моменту, когда обучение завершилось, GPT-Red успешно обходила защиту почти всех систем, с которыми сталкивалась, включая внутренние и серийные модели вплоть до GPT-5.5. Затем вредоносные инструкции, которые она создала, использовали, чтобы обучить GPT-5.6 Sol.
По данным OpenAI, GPT-5.6 Sol ошибается в шесть раз реже в самом сложном испытании с прямыми внедренными командами, чем лучшая серийная модель компании четырьмя месяцами ранее. Когда модель проверили на отдельном наборе сценариев, GPT-Red добилась успеха в 84% случаев, тогда как люди смогли провести результативные атаки только в 13% случаев.
В одном из практических испытаний GPT-Red атаковала автономную систему, управлявшую торговым автоматом в офисе OpenAI. Модель заставила автомат снизить цену дорогого товара до $0,50, заказать товар дороже $100 и выставить его по той же цене, а также отменить заказ другого покупателя. Разработчики системы получили сведения об уязвимостях и начали проверять новые меры защиты.
GPT-Red также атаковала программного помощника на базе GPT-5.4 mini и пыталась похитить конфиденциальные данные в десяти разных сценариях. Специально обученная модель справилась с большим числом задач и потратила меньше вычислительных ресурсов, чем GPT-5.5 с обычными инструкциями.
OpenAI не планирует открывать доступ к GPT-Red. Компания намеренно обучала модель вредоносным приемам, поэтому держит ее отдельно от общедоступных продуктов. Полученные атаки применяют только для того, чтобы усилить серийные системы. Компания продолжит сочетать автоматические проверки с работой людей, независимыми испытаниями, многоуровневой защитой и постоянным наблюдением за уже запущенными моделями. Более подробное описание метода OpenAI обещает опубликовать в отдельной научной работе.
- Источник новости
- www.securitylab.ru
