- 28,397
- 46
- 8 Ноя 2022
Эксперимент показал, что заразить ИИ-модель уязвимостью можно всего за $100.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Подменить поведение нейросети оказалось проще и дешевле, чем многие ожидали. Специалист по кибербезопасности Кэти Пакстон-Фир внедрила скрытую уязвимость в модель с открытыми весами примерно за час и потратила на эксперимент меньше $100.
Сначала Пакстон-Фир проверила , можно ли с помощью дополнительного обучения заставить модель менять стиль написания программного кода. Нейросеть быстро усвоила новое правило и продолжала следовать ему даже после прямой команды вернуться к прежнему формату. После успешного теста специалист перешла к полноценному бэкдору.
Чтобы заразить модель, потребовалось всего десять учебных примеров. После такой подготовки нейросеть начала регулярно выдавать код с уязвимостью, которая могла привести к удалённому выполнению команд . Опасная логика сохранялась даже при новых запросах и в незнакомых предметных областях.
По словам Пакстон-Фир, крупные модели поддавались подобной подмене легче небольших. Главная проблема связана не только с тем, что модель можно изменить, но и с тем, что вмешательство трудно обнаружить. Открытый доступ к весам не позволяет заранее понять, как нейросеть поведёт себя в разных ситуациях. Обычную программу можно разобрать и изучить с помощью средств обратного анализа, тогда как полностью описать внутреннюю логику современной модели пока невозможно.
Похожий эксперимент ранее провёл руководитель направления безопасности искусственного интеллекта компании Origin Дэвид Каплан. Он создал заражённую модель , которая похищала данные при работе с задачами по разработке лекарств. Нейросеть незаметно передавала сведения через инструмент отправки электронной почты и не предупреждала пользователя. Такой сценарий отличается от привычных атак на системы с искусственным интеллектом. Вредоносная команда не приходит с сайта, документа или другого внешнего источника. Опасное поведение заранее скрыто внутри весов модели и активируется во время обычной работы.
В традиционной разработке компании умеют искать вредоносный код в зависимостях, проверять происхождение компонентов и ограничивать последствия заражения. С моделями подобные механизмы пока развиты значительно слабее. Скомпрометированная нейросеть может не выдавать ошибок и не нарушать работу системы, но незаметно влиять на решения, программный код и обработку конфиденциальных данных.
Модели с открытыми весами особенно уязвимы для подмены, поскольку злоумышленник может изменить их перед распространением. Закрытые коммерческие системы тоже сложно проверить. Разработчики получают доступ к чувствительной информации клиентов, но почти не раскрывают, как модели обрабатывают данные и принимают решения.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Подменить поведение нейросети оказалось проще и дешевле, чем многие ожидали. Специалист по кибербезопасности Кэти Пакстон-Фир внедрила скрытую уязвимость в модель с открытыми весами примерно за час и потратила на эксперимент меньше $100.
Сначала Пакстон-Фир проверила , можно ли с помощью дополнительного обучения заставить модель менять стиль написания программного кода. Нейросеть быстро усвоила новое правило и продолжала следовать ему даже после прямой команды вернуться к прежнему формату. После успешного теста специалист перешла к полноценному бэкдору.
Чтобы заразить модель, потребовалось всего десять учебных примеров. После такой подготовки нейросеть начала регулярно выдавать код с уязвимостью, которая могла привести к удалённому выполнению команд . Опасная логика сохранялась даже при новых запросах и в незнакомых предметных областях.
По словам Пакстон-Фир, крупные модели поддавались подобной подмене легче небольших. Главная проблема связана не только с тем, что модель можно изменить, но и с тем, что вмешательство трудно обнаружить. Открытый доступ к весам не позволяет заранее понять, как нейросеть поведёт себя в разных ситуациях. Обычную программу можно разобрать и изучить с помощью средств обратного анализа, тогда как полностью описать внутреннюю логику современной модели пока невозможно.
Похожий эксперимент ранее провёл руководитель направления безопасности искусственного интеллекта компании Origin Дэвид Каплан. Он создал заражённую модель , которая похищала данные при работе с задачами по разработке лекарств. Нейросеть незаметно передавала сведения через инструмент отправки электронной почты и не предупреждала пользователя. Такой сценарий отличается от привычных атак на системы с искусственным интеллектом. Вредоносная команда не приходит с сайта, документа или другого внешнего источника. Опасное поведение заранее скрыто внутри весов модели и активируется во время обычной работы.
В традиционной разработке компании умеют искать вредоносный код в зависимостях, проверять происхождение компонентов и ограничивать последствия заражения. С моделями подобные механизмы пока развиты значительно слабее. Скомпрометированная нейросеть может не выдавать ошибок и не нарушать работу системы, но незаметно влиять на решения, программный код и обработку конфиденциальных данных.
Модели с открытыми весами особенно уязвимы для подмены, поскольку злоумышленник может изменить их перед распространением. Закрытые коммерческие системы тоже сложно проверить. Разработчики получают доступ к чувствительной информации клиентов, но почти не раскрывают, как модели обрабатывают данные и принимают решения.
- Источник новости
- www.securitylab.ru
