prompt injection

Обычная «галлюцинация» оказалась слишком удобной для чужого замысла. <div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden"> Ошибки ИИ обычно выглядят как безобидные выдумки...

Взломщики добрались до святая святых — личных файлов разработчиков. Инструменты, которым всё чаще доверяют код и рабочие файлы, оказались уязвимы не из-за новой техники атаки, а из-за старого трюка командной строки, который ломает защитные проверки ИИ-агентов . Специалисты Adversa AI...

Метод BioShocking показал, как манипуляция контекстом ломает привычные запреты. Чем больше браузеры берут на себя роль помощников, тем опаснее становится слепое доверие к контексту страницы: специалисты LayerX описали приём BioShocking , который заставляет ИИ-браузер принять выдуманные...

Защиту языковых моделей пробили обычной стилизацией текста. Безопасность языковых моделей держится не только на фильтрах, но и на том, как машина понимает, чей текст перед ней, и новая работа показывает, что с этим механизмом у LLM остаётся серьёзная проблема. Независимые специалисты Чарльз...

Новый режим превращает некогда умного помощника в обыкновенного параноика. Инструменты искусственного интеллекта всё чаще работают с файлами, сайтами и внешними сервисами, а значит, получают новые каналы для утечки данных. На этом фоне OpenAI начала внедрять в ChatGPT новый режим Lockdown...

Разбор свежей атаки на Android-смартфоны через ИИ-ассистент Gemini. Всего одно вредоносное уведомление из WhatsApp, Slack, Signal, SMS, <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Instagram</span>* или Messenger* могло заставить...

Человек не заметит подвох, пока машина безвозвратно не удалит все файлы. Спор вокруг «вайб-кодинга» внезапно перешёл из области раздражённых обсуждений в зону реального риска для чужих проектов. Один из разработчиков open source решил наглядно показать , чем ему не нравится работа ИИ-агентов...

Grok понял шифровку, Bankrbot понял буквально, токены ушли. Пользователь X обманул Grok и Bankrbot с помощью сообщения азбукой Морзе и добился перевода трёх миллиардов токенов DRB в сети Base. Сумму операции оценили примерно в $200 000, пишет Cryptopolitan . Атакующий под именем...

Алгоритмы оказались слишком доверчивыми к чужим уловкам. ИИ-агенты всё чаще читают сайты, документы и письма вместо человека, поэтому злоумышленникам уже не всегда нужно взламывать саму систему. Достаточно спрятать команду там, где модель её увидит. Google проверила, насколько такие атаки...

В коде ИИ-агента нашли нелепую ошибку, которая позволяет обходить правила безопасности. Исследователи безопасности из тель-авивской компании Adversa обнаружили уязвимость в Claude Code — ИИ-агенте для программирования от Anthropic. Если подсунуть агенту достаточно длинную цепочку подкоманд...

ИИ-сервис Doctronic оказался уязвим к простейшим манипуляциям через текстовые подсказки. Медицинский ИИ-сервис Doctronic, который в том числе помогает выписывать рецепты, оказался удивительно восприимчив к манипуляциям. Специалисты по безопасности из компании Mindgard выяснили, что взломать...

Популярный инструмент наконец превратился в бронированный сейф. OpenAI объявила о запуске новых механизмов защиты в ChatGPT , которые нацелены на снижение рисков при работе с внешними источниками и подключёнными сервисами. Компания усиливает контроль над тем, как модель взаимодействует с...

Как работает визуальный prompt injection: машины подчиняются любому тексту, попадающему в объектив камеры. Группа исследователей из США показала, что автономные системы с камерами можно обмануть с помощью обычных надписей в окружающей среде. В работе говорится, что беспилотные автомобили и...

Как работает визуальный prompt injection: машины подчиняются любому тексту, попадающему в объектив камеры. Группа исследователей из США показала, что автономные системы с камерами можно обмануть с помощью обычных надписей в окружающей среде. В работе говорится, что беспилотные автомобили и...

OpenAI усилила модель и защиту Atlas после волны prompt injection. OpenAI выпустила обновление безопасности для ChatGPT Atlas — браузера с встроенным «режимом агента», который умеет смотреть веб-страницы и действовать в них почти как человек: кликать, печатать и выполнять шаги в вашем...

Чем вежливее письмо хакера, тем охотнее ИИ-ассистент удаляет ваши файлы. Исследователи Striker STAR Labs описали новую атаку на агентские браузеры, которая позволяет превратить обычное письмо во входящих в почти полный wiper Google Drive. Под удар попадает Comet — браузер с ИИ от...

Корейские ученые предложили невидимый HTML-блок для остановки вредоносных ИИ-агентов на веб-сайтах. Южнокорейские учёные предложили новый способ защиты сайтов от нежелательной активности ИИ-агентов — метод, который можно назвать своеобразной цифровой «красной кнопкой». В отличие от...

Генерация поддельных документов и персонализация угроз теперь полностью отданы на аутсорс алгоритмам. Искусственный интеллект, который ещё недавно воспринимался как вспомогательный инструмент в сфере информационной безопасности, теперь выходит на передний план и становится ядром цифровых...

Хакеры могут «отравить» память ChatGPT и похищать данные между сессиями. Tenable Research обнаружила в ChatGPT 7 новых уязвимостей и приёмы эксплуатации, которые позволяют извлекать приватные данные пользователей, обходить защиту и закреплять доступ между сессиями — речь о наборах проблем...

Раскрыта новая схема атаки через ИИ-ассистентов. Специалисты Unit 42 представили анализ уязвимостей, связанных с использованием помощников для написания кода на основе больших языковых моделей. Эти инструменты встраиваются в IDE наподобие GitHub Copilot и способны выполнять широкий спектр...

Скрытые CSS-блоки в HTML заставляют модели выводить команды злоумышленников. Специалисты CloudSEK раскрыли новый вектор атак ClickFix, использующий инъекцию невидимых промптов (invisible prompt injection) и технику prompt overdose для эксплуатации автоматических ИИ-сводок. Суть метода в том...

Когда UI пуст, а ИИ слышит команды. Специалисты показали , что последние модели Gemini устойчиво принимают скрытые Unicode Tag символы за инструкции — невидимый в интерфейсе текст становится командами для ИИ. Под удар попадают все интеграции на базе Gemini, включая новый агент кодирования...

Кто бы знал, что один README.md может превратить ИИ-помощника в инструмент слива данных. В недавно выпущенном инструменте командной строки от Google — Gemini CLI — была обнаружена серьёзная уязвимость, позволяющая атакующим незаметно выполнять вредоносные команды и передавать данные с...

TXT-записи доменов стали новым убежищем для вредоносного ПО. Хакеры научились прятать вредоносное ПО там, где его практически невозможно отследить — в DNS-записях, связывающих доменные имена с IP-адресами. Такая техника позволяет загружать вредоносные бинарные файлы без обращения к...

Эпоха привычных нам угроз подходит к концу. Prompt injection — процветает. В реальной киберсреде обнаружен необычный образец вредоносного кода, в котором впервые зафиксирована попытка атаки не на классические защитные механизмы, а непосредственно на системы искусственного интеллекта . Речь...