- 29,310
- 46
- 8 Ноя 2022
Нейросети уверенно сочиняют характеристики ракет, радаров и целых военных баз.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Искусственный интеллект может незаметно подмешать выдуманные сведения в данные, по которым проектируют боевые самолеты и планируют военные операции. Китайские авиаконструкторы предупреждают, что большие языковые модели способны уверенно сообщать несуществующие характеристики радаров, ракет, систем радиоэлектронной борьбы и другой техники. Если инженер или аналитик примет правдоподобный ответ за проверенную информацию, ошибка может повлиять на требования к новому самолету еще до начала его детальной разработки.
Предупреждение подготовили специалисты китайского авиационного института AVIC в Чэнду, участвовавшего в разработке истребителя J-20 и программы перспективного самолета J-36. Инженеров беспокоит использование больших языковых моделей при обработке военной информации. Алгоритмы быстро анализируют огромные массивы документов и составляют подробные ответы, но иногда дополняют недостающие сведения выдуманными фактами. Такие ошибки обычно называют галлюцинациями ИИ.
Для военной авиации цена ошибки особенно высока. Разработчики нового самолета сначала изучают угрозы, с которыми машина может столкнуться в бою. Инженерам нужны данные о расположении радаров противника, дальности обнаружения целей и рабочих диапазонах частот. Отдельно оценивают зоны поражения ракетных комплексов, возможности авиационного вооружения и характеристики средств радиоэлектронной борьбы.
На требования к самолету также влияют расположение самолетов дальнего радиолокационного обнаружения, наземных комплексов противовоздушной обороны и других элементов системы обнаружения. От разведывательной картины зависят требования к малозаметности, набору бортовых датчиков, маневренности и боевому радиусу. Ошибка на раннем этапе может заставить инженеров оптимизировать конструкцию под угрозу, характеристики которой изначально описали неправильно.
Большая языковая модель способна выдавать чрезвычайно конкретные, но вымышленные параметры. Алгоритм может придумать размеры самолета, массу боевой нагрузки, характеристики вооружения, максимальную скорость или боевой радиус. Отдельную опасность несут ошибки в сведениях о радиолокационных станциях. Система может указать неправильную дальность обнаружения или рабочий диапазон частот и при этом сформулировать ответ без признаков неуверенности.
Проверить такую информацию с первого взгляда трудно. Числа могут укладываться в правдоподобный диапазон, технические термины использоваться правильно, а объяснение сохранять внутреннюю логику. Проблема обнаруживается только после сверки с надежными источниками или техническими ограничениями конкретного оборудования.
Ошибки возможны и при инженерных расчетах. ИИ может рекомендовать материал для детали, хотя расчетная нагрузка превышает допустимый предел усталостной прочности. Усталостная прочность показывает, сколько повторяющихся нагрузок выдержит материал до появления трещин и разрушения. Неправильная оценка опасна для деталей самолета, которые многократно испытывают вибрации, перепады давления и нагрузки при маневрах.
Алгоритм также способен предложить маневр, который самолет физически не сможет выполнить. Ограничения задают аэродинамика, запас тяги, прочность конструкции и допустимые перегрузки. Если модель проигнорирует хотя бы один параметр, рассчитанная траектория может оставаться убедительной на бумаге, но окажется невозможной в реальном полете.
Схожая проблема возникает при планировании боевых задач. ИИ может построить маршрут, который требует от самолета преодолеть расстояние больше реального боевого радиуса. Боевой радиус показывает, насколько далеко машина может улететь от базы, выполнить задачу и вернуться без дозаправки при заданной нагрузке и профиле полета.
При анализе разведданных языковая модель способна придумать уже не характеристики техники, а сами объекты. В отчете могут появиться несуществующие военные базы, подразделения или перемещения войск. Если аналитики загрузят вымышленные сведения в симуляцию, программа рассчитает возможности противника на основе событий и сил, которых в действительности нет.
Ручная проверка частично снижает риск, но объем информации постепенно становится отдельной проблемой. Военные организации хотят использовать ИИ именно потому, что человек не успевает самостоятельно просматривать огромные массивы разведданных. Если специалисту приходится заново проверять каждый факт, который подготовила модель, выигрыш в скорости резко сокращается.
Авторы работы связывают опасность также с реальным применением ИИ при выборе военных целей. В публикации приводится пример удара с большим числом жертв, которому предшествовала машинная оценка цели как приоритетной. Одновременно использовались устаревшие разведданные. Сочетание двух ошибок показывает, насколько опасной может быть ситуация, когда автоматическая рекомендация получает дополнительное подтверждение из информации, которая сама уже потеряла актуальность.
Снизить риск предлагается за счет нескольких уровней проверки. Языковые модели можно подключать к проверенным военным базам данных и специализированным хранилищам знаний, чтобы система сверяла ответы с известными характеристиками техники. Более точные запросы уменьшают вероятность неоднозначного толкования задания. Еще один вариант предполагает использование нескольких ИИ-систем, которые независимо анализируют одни и те же сведения и проверяют выводы друг друга.
Ни один из перечисленных методов не отменяет необходимость проверки исходных данных. Большая языковая модель строит ответ по статистическим закономерностям в доступной информации и не гарантирует, что каждое названное число существует в реальном источнике. Для военной авиации разница между правдоподобным и достоверным параметром может повлиять на конструкцию самолета, оценку противника или план конкретной операции.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Искусственный интеллект может незаметно подмешать выдуманные сведения в данные, по которым проектируют боевые самолеты и планируют военные операции. Китайские авиаконструкторы предупреждают, что большие языковые модели способны уверенно сообщать несуществующие характеристики радаров, ракет, систем радиоэлектронной борьбы и другой техники. Если инженер или аналитик примет правдоподобный ответ за проверенную информацию, ошибка может повлиять на требования к новому самолету еще до начала его детальной разработки.
Предупреждение подготовили специалисты китайского авиационного института AVIC в Чэнду, участвовавшего в разработке истребителя J-20 и программы перспективного самолета J-36. Инженеров беспокоит использование больших языковых моделей при обработке военной информации. Алгоритмы быстро анализируют огромные массивы документов и составляют подробные ответы, но иногда дополняют недостающие сведения выдуманными фактами. Такие ошибки обычно называют галлюцинациями ИИ.
Для военной авиации цена ошибки особенно высока. Разработчики нового самолета сначала изучают угрозы, с которыми машина может столкнуться в бою. Инженерам нужны данные о расположении радаров противника, дальности обнаружения целей и рабочих диапазонах частот. Отдельно оценивают зоны поражения ракетных комплексов, возможности авиационного вооружения и характеристики средств радиоэлектронной борьбы.
На требования к самолету также влияют расположение самолетов дальнего радиолокационного обнаружения, наземных комплексов противовоздушной обороны и других элементов системы обнаружения. От разведывательной картины зависят требования к малозаметности, набору бортовых датчиков, маневренности и боевому радиусу. Ошибка на раннем этапе может заставить инженеров оптимизировать конструкцию под угрозу, характеристики которой изначально описали неправильно.
Большая языковая модель способна выдавать чрезвычайно конкретные, но вымышленные параметры. Алгоритм может придумать размеры самолета, массу боевой нагрузки, характеристики вооружения, максимальную скорость или боевой радиус. Отдельную опасность несут ошибки в сведениях о радиолокационных станциях. Система может указать неправильную дальность обнаружения или рабочий диапазон частот и при этом сформулировать ответ без признаков неуверенности.
Проверить такую информацию с первого взгляда трудно. Числа могут укладываться в правдоподобный диапазон, технические термины использоваться правильно, а объяснение сохранять внутреннюю логику. Проблема обнаруживается только после сверки с надежными источниками или техническими ограничениями конкретного оборудования.
Ошибки возможны и при инженерных расчетах. ИИ может рекомендовать материал для детали, хотя расчетная нагрузка превышает допустимый предел усталостной прочности. Усталостная прочность показывает, сколько повторяющихся нагрузок выдержит материал до появления трещин и разрушения. Неправильная оценка опасна для деталей самолета, которые многократно испытывают вибрации, перепады давления и нагрузки при маневрах.
Алгоритм также способен предложить маневр, который самолет физически не сможет выполнить. Ограничения задают аэродинамика, запас тяги, прочность конструкции и допустимые перегрузки. Если модель проигнорирует хотя бы один параметр, рассчитанная траектория может оставаться убедительной на бумаге, но окажется невозможной в реальном полете.
Схожая проблема возникает при планировании боевых задач. ИИ может построить маршрут, который требует от самолета преодолеть расстояние больше реального боевого радиуса. Боевой радиус показывает, насколько далеко машина может улететь от базы, выполнить задачу и вернуться без дозаправки при заданной нагрузке и профиле полета.
При анализе разведданных языковая модель способна придумать уже не характеристики техники, а сами объекты. В отчете могут появиться несуществующие военные базы, подразделения или перемещения войск. Если аналитики загрузят вымышленные сведения в симуляцию, программа рассчитает возможности противника на основе событий и сил, которых в действительности нет.
Ручная проверка частично снижает риск, но объем информации постепенно становится отдельной проблемой. Военные организации хотят использовать ИИ именно потому, что человек не успевает самостоятельно просматривать огромные массивы разведданных. Если специалисту приходится заново проверять каждый факт, который подготовила модель, выигрыш в скорости резко сокращается.
Авторы работы связывают опасность также с реальным применением ИИ при выборе военных целей. В публикации приводится пример удара с большим числом жертв, которому предшествовала машинная оценка цели как приоритетной. Одновременно использовались устаревшие разведданные. Сочетание двух ошибок показывает, насколько опасной может быть ситуация, когда автоматическая рекомендация получает дополнительное подтверждение из информации, которая сама уже потеряла актуальность.
Снизить риск предлагается за счет нескольких уровней проверки. Языковые модели можно подключать к проверенным военным базам данных и специализированным хранилищам знаний, чтобы система сверяла ответы с известными характеристиками техники. Более точные запросы уменьшают вероятность неоднозначного толкования задания. Еще один вариант предполагает использование нескольких ИИ-систем, которые независимо анализируют одни и те же сведения и проверяют выводы друг друга.
Ни один из перечисленных методов не отменяет необходимость проверки исходных данных. Большая языковая модель строит ответ по статистическим закономерностям в доступной информации и не гарантирует, что каждое названное число существует в реальном источнике. Для военной авиации разница между правдоподобным и достоверным параметром может повлиять на конструкцию самолета, оценку противника или план конкретной операции.
- Источник новости
- www.securitylab.ru
