- 28,530
- 46
- 8 Ноя 2022
Ложный след, три программы и один упрямый GPT-5.6 Sol, который не поверил самому себе — и оказался прав.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Одно дело найти ошибку в чужом коде, и совсем другое – неделями вести расследование, признавать собственные промахи и перестраивать выводы, когда появляются новые данные. Специалисты SentinelLABS проверили, способны ли современные модели справиться с такой работой, и только GPT-5.6 Sol прошла все восемь этапов испытания.
Чтобы проверить это, специалисты воссоздали расследование вредоносного комплекса fast16, созданного в 2005 году, чтобы саботировать инженерные расчёты. Программа вмешивалась в работу высокоточных систем моделирования, которые могли применяться, чтобы изучать поведение ядерного оружия.
Задача оказалась сложнее, чем обычно анализировать вредоносный код . На первый взгляд fast16 выглядел как скрытая служба Windows с двумя встроенными компонентами. Когда специалисты изучили программу глубже, они обнаружили зашифрованную систему управления на языке Lua и драйвер со 101 правилом. Правила искали определённые участки в исполняемых файлах, меняли код и исправляли связанные служебные данные.
Модели получили образец fast16, IDA Pro 9.3 и изолированную рабочую среду без доступа в интернет. На каждом этапе им открывали новые файлы и сведения. Сначала нужно было разобрать устройство вредоносной программы и подготовить полностью размеченные базы данных IDA. Затем модели проверяли, как fast16 влияет на разные инженерные пакеты, сопоставляли выводы с открытыми публикациями и готовили самостоятельный отчёт.
GPT-5.5, GLM-5.2 и модели семейства Opus 4.x справлялись с отдельными техническими задачами, но не смогли довести расследование до конца. Одни накапливали ошибки в базах данных, другие слишком рано объявляли этап завершённым или не исправляли все связанные материалы.
Все три запуска GPT-5.6 Sol прошли восемь этапов. Модель показала главное преимущество не в том, что не ошибалась, а в том, что умела исправлять последствия неверных выводов во всём проекте. Когда GPT-5.6 Sol обнаруживала противоречие, она отзывала ошибочную гипотезу, проверяла зависимые выводы, исправляла исходные материалы и заново испытывала обновлённую версию.
Во время одного запуска модель решила, что fast16 мог быть обычным компонентом совместимости, поскольку некоторые правила срабатывали не только в LS-DYNA, но и в программах MOHID и PKPM. Позже GPT-5.6 Sol проверила характер изменений и выяснила, что полноценная последовательность модификаций возникала только в LS-DYNA. Совпадения в других программах оказались случайными срабатываниями на похожий код. Модель отказалась от прежней версии и обновила все связанные материалы.
При этом в SentinelLABS не считают, что результат доказывает полную автономность искусственного интеллекта . Даже лучшие запуски допускали смысловые ошибки, принимали слабые проверки за достаточные и преждевременно объявляли работу завершённой. Люди задавали цели, открывали новые данные, указывали на слепые зоны и решали, публиковать ли результаты.
По оценке специалистов, самые сильные модели уже могут работать не только как помощники, разбирающие отдельные функции, но и как управляемые участники длительного расследования. Старшие специалисты, которые анализируют код, по-прежнему нужны, однако под их контролем модели способны взять на себя значительную часть многодневной работы. На все испытания в SentinelLABS потратили более 23 млрд токенов.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Одно дело найти ошибку в чужом коде, и совсем другое – неделями вести расследование, признавать собственные промахи и перестраивать выводы, когда появляются новые данные. Специалисты SentinelLABS проверили, способны ли современные модели справиться с такой работой, и только GPT-5.6 Sol прошла все восемь этапов испытания.
Чтобы проверить это, специалисты воссоздали расследование вредоносного комплекса fast16, созданного в 2005 году, чтобы саботировать инженерные расчёты. Программа вмешивалась в работу высокоточных систем моделирования, которые могли применяться, чтобы изучать поведение ядерного оружия.
Задача оказалась сложнее, чем обычно анализировать вредоносный код . На первый взгляд fast16 выглядел как скрытая служба Windows с двумя встроенными компонентами. Когда специалисты изучили программу глубже, они обнаружили зашифрованную систему управления на языке Lua и драйвер со 101 правилом. Правила искали определённые участки в исполняемых файлах, меняли код и исправляли связанные служебные данные.
Модели получили образец fast16, IDA Pro 9.3 и изолированную рабочую среду без доступа в интернет. На каждом этапе им открывали новые файлы и сведения. Сначала нужно было разобрать устройство вредоносной программы и подготовить полностью размеченные базы данных IDA. Затем модели проверяли, как fast16 влияет на разные инженерные пакеты, сопоставляли выводы с открытыми публикациями и готовили самостоятельный отчёт.
GPT-5.5, GLM-5.2 и модели семейства Opus 4.x справлялись с отдельными техническими задачами, но не смогли довести расследование до конца. Одни накапливали ошибки в базах данных, другие слишком рано объявляли этап завершённым или не исправляли все связанные материалы.
Все три запуска GPT-5.6 Sol прошли восемь этапов. Модель показала главное преимущество не в том, что не ошибалась, а в том, что умела исправлять последствия неверных выводов во всём проекте. Когда GPT-5.6 Sol обнаруживала противоречие, она отзывала ошибочную гипотезу, проверяла зависимые выводы, исправляла исходные материалы и заново испытывала обновлённую версию.
Во время одного запуска модель решила, что fast16 мог быть обычным компонентом совместимости, поскольку некоторые правила срабатывали не только в LS-DYNA, но и в программах MOHID и PKPM. Позже GPT-5.6 Sol проверила характер изменений и выяснила, что полноценная последовательность модификаций возникала только в LS-DYNA. Совпадения в других программах оказались случайными срабатываниями на похожий код. Модель отказалась от прежней версии и обновила все связанные материалы.
При этом в SentinelLABS не считают, что результат доказывает полную автономность искусственного интеллекта . Даже лучшие запуски допускали смысловые ошибки, принимали слабые проверки за достаточные и преждевременно объявляли работу завершённой. Люди задавали цели, открывали новые данные, указывали на слепые зоны и решали, публиковать ли результаты.
По оценке специалистов, самые сильные модели уже могут работать не только как помощники, разбирающие отдельные функции, но и как управляемые участники длительного расследования. Старшие специалисты, которые анализируют код, по-прежнему нужны, однако под их контролем модели способны взять на себя значительную часть многодневной работы. На все испытания в SentinelLABS потратили более 23 млрд токенов.
- Источник новости
- www.securitylab.ru
