- 29,072
- 46
- 8 Ноя 2022
На конференции Black Hat USA 2026 продемонстрировали новый тип атаки на роботов с ИИ.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Обычная фраза или изображение перед камерой могут превратиться для робота с искусственным интеллектом в команду к действию. Команда BT6 показала на Black Hat USA 2026 , как четвероногого Unitree Go2 удалось заставить вести себя агрессивно без взлома контроллера, кражи учетных данных и изменения прошивки. Для воздействия специалистам хватило того, что робот слышал и видел вокруг себя.
Специалисты назвали подход Kinetic Prompt Injection, или «кинетической инъекцией инструкций». Проблема возникает, когда система на базе искусственного интеллекта воспринимает окружающую среду не только как источник сведений о мире, но и как источник команд. В испытаниях использовали Unitree Go2 и модели Gemini Robotics-ER 1.6 и 2.0, а входными каналами служили только штатные камера и микрофон.
Один из опытов показал атаку через звук. Микрофон робота воспринимал произнесенные рядом фразы как часть контекста, после чего система могла выбрать более агрессивную модель поведения. Авторы сравнивали действия машины до появления такого сигнала, во время воздействия и после него. Похожий прием проверили и через зрение, когда содержимое перед камерой становилось частью задания для искусственного интеллекта.
В другой демонстрации специалисты использовали QR-код с инструкцией найти человека в черной обуви, подбежать к нему и прыгнуть. После считывания визуальной команды поведение робота заметно менялось. Авторы работы обращают внимание, что подобные машины уже применяют или испытывают полицейские и военные структуры, а сами платформы позволяют устанавливать дополнительное оборудование.
Авторы выделили три класса подобных сбоев. В первом посторонняя инструкция заставляет машину двигаться вопреки исходной задаче или требованиям безопасности. Во втором созданный атакующим контекст фактически вытесняет оператора как источник команд. В третьем робот игнорирует, откладывает или по-своему трактует последующие команды из-за ранее полученного контекста.
Анализ прошивки Go2 показал и другие потенциально опасные места. По данным BT6, в системе присутствует навык attack_people(), при этом отдельная команда позволяет отключать обход препятствий. Специалисты пришли к выводу, что сочетание разных заданных ролей способно отключить обнаружение объектов и тем самым обойти часть защитных механизмов. В работе также описана возможность подделывать данные датчиков.
Проблемы не ограничились тем, как искусственный интеллект обрабатывает команды. При анализе прошивки команда обнаружила возможности для подмены сообщений MQTT при беспроводном обновлении, ошибку контроля доступа к данным о местоположении и несколько уязвимостей удаленного выполнения кода в локальной сети, Wi-Fi и Bluetooth. Авторы также сообщили об обходах исправлений и возможности затронуть раздел, используемый при сбросе устройства к заводским настройкам.
Главный вывод BT6 касается самой архитектуры роботов с искусственным интеллектом. Камера и микрофон больше нельзя считать только датчиками, поскольку поступающие через них сведения способны влиять на выбор действий машины. Ошибка, которая в обычном чат-боте закончилась бы неправильным ответом, в физическом устройстве может привести к движению, прыжку или другому действию в реальном мире.
Авторы сформулировали проблему предельно кратко: восприятие стало входом, вход стал поверхностью атаки , а результат работы искусственного интеллекта теперь получил физические последствия.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Обычная фраза или изображение перед камерой могут превратиться для робота с искусственным интеллектом в команду к действию. Команда BT6 показала на Black Hat USA 2026 , как четвероногого Unitree Go2 удалось заставить вести себя агрессивно без взлома контроллера, кражи учетных данных и изменения прошивки. Для воздействия специалистам хватило того, что робот слышал и видел вокруг себя.
Специалисты назвали подход Kinetic Prompt Injection, или «кинетической инъекцией инструкций». Проблема возникает, когда система на базе искусственного интеллекта воспринимает окружающую среду не только как источник сведений о мире, но и как источник команд. В испытаниях использовали Unitree Go2 и модели Gemini Robotics-ER 1.6 и 2.0, а входными каналами служили только штатные камера и микрофон.
Один из опытов показал атаку через звук. Микрофон робота воспринимал произнесенные рядом фразы как часть контекста, после чего система могла выбрать более агрессивную модель поведения. Авторы сравнивали действия машины до появления такого сигнала, во время воздействия и после него. Похожий прием проверили и через зрение, когда содержимое перед камерой становилось частью задания для искусственного интеллекта.
В другой демонстрации специалисты использовали QR-код с инструкцией найти человека в черной обуви, подбежать к нему и прыгнуть. После считывания визуальной команды поведение робота заметно менялось. Авторы работы обращают внимание, что подобные машины уже применяют или испытывают полицейские и военные структуры, а сами платформы позволяют устанавливать дополнительное оборудование.
Авторы выделили три класса подобных сбоев. В первом посторонняя инструкция заставляет машину двигаться вопреки исходной задаче или требованиям безопасности. Во втором созданный атакующим контекст фактически вытесняет оператора как источник команд. В третьем робот игнорирует, откладывает или по-своему трактует последующие команды из-за ранее полученного контекста.
Анализ прошивки Go2 показал и другие потенциально опасные места. По данным BT6, в системе присутствует навык attack_people(), при этом отдельная команда позволяет отключать обход препятствий. Специалисты пришли к выводу, что сочетание разных заданных ролей способно отключить обнаружение объектов и тем самым обойти часть защитных механизмов. В работе также описана возможность подделывать данные датчиков.
Проблемы не ограничились тем, как искусственный интеллект обрабатывает команды. При анализе прошивки команда обнаружила возможности для подмены сообщений MQTT при беспроводном обновлении, ошибку контроля доступа к данным о местоположении и несколько уязвимостей удаленного выполнения кода в локальной сети, Wi-Fi и Bluetooth. Авторы также сообщили об обходах исправлений и возможности затронуть раздел, используемый при сбросе устройства к заводским настройкам.
Главный вывод BT6 касается самой архитектуры роботов с искусственным интеллектом. Камера и микрофон больше нельзя считать только датчиками, поскольку поступающие через них сведения способны влиять на выбор действий машины. Ошибка, которая в обычном чат-боте закончилась бы неправильным ответом, в физическом устройстве может привести к движению, прыжку или другому действию в реальном мире.
Авторы сформулировали проблему предельно кратко: восприятие стало входом, вход стал поверхностью атаки , а результат работы искусственного интеллекта теперь получил физические последствия.
- Источник новости
- www.securitylab.ru
