- 27,988
- 46
- 8 Ноя 2022
Метод BioShocking показал, как манипуляция контекстом ломает привычные запреты.
Чем больше браузеры берут на себя роль помощников, тем опаснее становится слепое доверие к контексту страницы: специалисты LayerX описали приём BioShocking , который заставляет ИИ-браузер принять выдуманные правила игры и выйти за пределы защитных ограничений.
Проблема затронула ChatGPT Atlas , Comet, Fellou, Genspark Browser, Sigma Browser и расширение Claude Chrome. По данным LayerX, всем разработчикам сообщили о находке. OpenAI исправила проблему в ChatGPT Atlas, а вот Perplexity AI проигнорировала обращение по Comet. Fellou, Genspark и Sigmabrowser OÜ не ответили, а исправление Anthropic для расширения Chrome не сработало.
Суть BioShocking сводится к подмене реальности для агента. Через промпт-инъекцию или отравление памяти злоумышленник убеждает ИИ, что браузер действует не в обычной среде, а внутри игры, где привычные правила не работают. После такой смены контекста агент начинает применять игровую логику к реальным действиям в браузере.
В демонстрации эксперт LayerX создал страницу с головоломкой в стиле BioShock, где правильным считался заведомо неверный ответ вроде «2 + 2 = 5». Когда агент усваивал такие правила, игра направляла браузер на страницу /code и просила скопировать содержимое текстового поля. В тестовой среде адрес перенаправлял на рабочий репозиторий GitHub с открытым файлом, где лежали SSH-учётные данные.
Специалисты подчёркивают, что демонстрация проходила в контролируемой среде с текстовым файлом. В реальной атаке похожее перенаправление могло бы вести на другие ресурсы, доступные в текущей сессии браузера, включая открытые вкладки, внутренние инструменты и авторизованные репозитории. Главная проблема не в самой игре, а в том, что агент перестал распознавать реальное действие как рискованное.
BioShocking показывает слабое место агентных браузеров: ИИ воспринимает контекст как основу для решений, а значит, манипуляция контекстом меняет поведение. Защитные ограничения должны срабатывать не только на прямые просьбы о вреде, но и на сценарии, где вредное действие маскируется под безобидное задание.
Для снижения риска LayerX рекомендует разработчикам требовать явное подтверждение перед доступом к чувствительным данным, проверять резкие изменения контекста и ограничивать область действий агента в сессии. Пользователям советуют внимательнее выбирать, какие авторизованные страницы видит ИИ-браузер , и отзывать доступ после завершения работы.
Чем больше браузеры берут на себя роль помощников, тем опаснее становится слепое доверие к контексту страницы: специалисты LayerX описали приём BioShocking , который заставляет ИИ-браузер принять выдуманные правила игры и выйти за пределы защитных ограничений.
Проблема затронула ChatGPT Atlas , Comet, Fellou, Genspark Browser, Sigma Browser и расширение Claude Chrome. По данным LayerX, всем разработчикам сообщили о находке. OpenAI исправила проблему в ChatGPT Atlas, а вот Perplexity AI проигнорировала обращение по Comet. Fellou, Genspark и Sigmabrowser OÜ не ответили, а исправление Anthropic для расширения Chrome не сработало.
Суть BioShocking сводится к подмене реальности для агента. Через промпт-инъекцию или отравление памяти злоумышленник убеждает ИИ, что браузер действует не в обычной среде, а внутри игры, где привычные правила не работают. После такой смены контекста агент начинает применять игровую логику к реальным действиям в браузере.
В демонстрации эксперт LayerX создал страницу с головоломкой в стиле BioShock, где правильным считался заведомо неверный ответ вроде «2 + 2 = 5». Когда агент усваивал такие правила, игра направляла браузер на страницу /code и просила скопировать содержимое текстового поля. В тестовой среде адрес перенаправлял на рабочий репозиторий GitHub с открытым файлом, где лежали SSH-учётные данные.
Специалисты подчёркивают, что демонстрация проходила в контролируемой среде с текстовым файлом. В реальной атаке похожее перенаправление могло бы вести на другие ресурсы, доступные в текущей сессии браузера, включая открытые вкладки, внутренние инструменты и авторизованные репозитории. Главная проблема не в самой игре, а в том, что агент перестал распознавать реальное действие как рискованное.
BioShocking показывает слабое место агентных браузеров: ИИ воспринимает контекст как основу для решений, а значит, манипуляция контекстом меняет поведение. Защитные ограничения должны срабатывать не только на прямые просьбы о вреде, но и на сценарии, где вредное действие маскируется под безобидное задание.
Для снижения риска LayerX рекомендует разработчикам требовать явное подтверждение перед доступом к чувствительным данным, проверять резкие изменения контекста и ограничивать область действий агента в сессии. Пользователям советуют внимательнее выбирать, какие авторизованные страницы видит ИИ-браузер , и отзывать доступ после завершения работы.
- Источник новости
- www.securitylab.ru
