- 28,113
- 46
- 8 Ноя 2022
Как официальный ИИ YouTube становится каналом для слива данных канала.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
ИИ-помощник <span class="blocked-highlight" title="Соцсеть заблокирована на территории РФ">YouTube</span> Studio можно заставить выполнять чужие инструкции прямо через комментарии под роликами. Исследователь безопасности Javox, известный как @javoriuski, показал , что Ask Studio способен подхватить скрытую команду из пользовательского комментария и раскрыть название приватного видео автора канала.
Ask Studio встроен в YouTube Studio и помогает авторам разбирать статистику канала, а также кратко пересказывать комментарии зрителей. Javox проверил, что произойдет, если комментарий будет содержать не обычный отзыв, а инструкцию для ИИ. После нескольких попыток исследователь нашел рабочую формулировку: сообщение маскировалось под комментарий службы поддержки YouTube и просило помощника начинать пересказ с важного уведомления от платформы.
Потенциальная атака строится на редактировании комментариев. Злоумышленник может сначала оставить безобидную реплику, а позже заменить текст на скрытую команду для ИИ. YouTube не предупреждает авторов канала о редактировании комментариев, поэтому владелец канала может не заметить подмену перед запросом к Ask Studio.
После запроса на пересказ комментариев ИИ добавит в ответ текст, заданный атакующим. В демонстрации Javox пошел дальше и попросил помощника сформировать ссылку на внешний сайт, заменив часть адреса названием одного из видео на канале. Ask Studio выполнил инструкцию и подставил в ссылку название реального приватного ролика, поскольку помощник имеет доступ к данным канала автора.
Названия приватных видео могут раскрывать еще не опубликованные материалы, личные записи или конфиденциальные проекты. Для атаки не требуется взламывать YouTube или получать доступ к аккаунту: достаточно заставить доверенный ИИ-помощник использовать комментарий как команду, а затем дождаться действия со стороны автора канала.
Javox сообщил о проблеме Google, однако компания не стала учитывать находку как ошибку безопасности. По позиции Google, риск требует взаимодействия со стороны жертвы и относится скорее к социальной инженерии. Исследователь с оценкой не согласился: по мнению Javox, авторы каналов взаимодействуют не со злоумышленником напрямую, а с официальным ИИ-инструментом YouTube, которому по умолчанию доверяют.
Javox считает, что YouTube должен рассматривать комментарии как недоверенные данные и ограничить влияние пользовательского текста на ответы Ask Studio. Без дополнительной защиты ИИ-помощник может превращаться в канал утечки информации, даже если исходная функция предназначена лишь для удобного анализа аудитории.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
ИИ-помощник <span class="blocked-highlight" title="Соцсеть заблокирована на территории РФ">YouTube</span> Studio можно заставить выполнять чужие инструкции прямо через комментарии под роликами. Исследователь безопасности Javox, известный как @javoriuski, показал , что Ask Studio способен подхватить скрытую команду из пользовательского комментария и раскрыть название приватного видео автора канала.
Ask Studio встроен в YouTube Studio и помогает авторам разбирать статистику канала, а также кратко пересказывать комментарии зрителей. Javox проверил, что произойдет, если комментарий будет содержать не обычный отзыв, а инструкцию для ИИ. После нескольких попыток исследователь нашел рабочую формулировку: сообщение маскировалось под комментарий службы поддержки YouTube и просило помощника начинать пересказ с важного уведомления от платформы.
Потенциальная атака строится на редактировании комментариев. Злоумышленник может сначала оставить безобидную реплику, а позже заменить текст на скрытую команду для ИИ. YouTube не предупреждает авторов канала о редактировании комментариев, поэтому владелец канала может не заметить подмену перед запросом к Ask Studio.
После запроса на пересказ комментариев ИИ добавит в ответ текст, заданный атакующим. В демонстрации Javox пошел дальше и попросил помощника сформировать ссылку на внешний сайт, заменив часть адреса названием одного из видео на канале. Ask Studio выполнил инструкцию и подставил в ссылку название реального приватного ролика, поскольку помощник имеет доступ к данным канала автора.
Названия приватных видео могут раскрывать еще не опубликованные материалы, личные записи или конфиденциальные проекты. Для атаки не требуется взламывать YouTube или получать доступ к аккаунту: достаточно заставить доверенный ИИ-помощник использовать комментарий как команду, а затем дождаться действия со стороны автора канала.
Javox сообщил о проблеме Google, однако компания не стала учитывать находку как ошибку безопасности. По позиции Google, риск требует взаимодействия со стороны жертвы и относится скорее к социальной инженерии. Исследователь с оценкой не согласился: по мнению Javox, авторы каналов взаимодействуют не со злоумышленником напрямую, а с официальным ИИ-инструментом YouTube, которому по умолчанию доверяют.
Javox считает, что YouTube должен рассматривать комментарии как недоверенные данные и ограничить влияние пользовательского текста на ответы Ask Studio. Без дополнительной защиты ИИ-помощник может превращаться в канал утечки информации, даже если исходная функция предназначена лишь для удобного анализа аудитории.
- Источник новости
- www.securitylab.ru
