- 29,089
- 46
- 8 Ноя 2022
13 августа на воркшопе сравнят ИИ и ручной пентест веб-приложения.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">ИИ-агенты уже умеют искать и эксплуатировать уязвимости, однако их реальные возможности сильно зависят от сложности задания, доступных инструментов и подсказок. В живых CTF-соревнованиях современные модели пока решают лишь небольшую часть поставленных задач.
Авторы представленного в мае 2026 года исследования CTFusion проверили GPT-4.1, Gemini 2.5 Flash и Claude 3.5 Sonnet в пяти CTF-соревнованиях. Средняя доля выполненных заданий составила от 5,1 до 7,1%. Лучшее сочетание модели и агентской системы справилось с 9,66% задач.
На статическом наборе NYU CTF Bench результаты оказались примерно вдвое выше и достигли 16,9%. Исследователи связывают разницу не только со сложностью заданий, но и с возможным попаданием готовых решений в обучающие данные нейросетей. Добавление веб-поиска позволило одному из агентов находить опубликованные разборы и даже копировать готовые флаги, не решая задачу самостоятельно.
Ограничения ИИ выявил и тест Cybench , включавший 40 профессиональных CTF-задач. Лучший результат без подсказок составил 17,5%. Модели не смогли самостоятельно решить ни одного задания, на разбор которого у команд специалистов уходило больше 11 минут. После разделения задач на отдельные этапы успешность на некоторых промежуточных шагах возрастала до 46,8%, однако выполнение отдельного действия не означало решение всей задачи.
Проверить разницу между лабораторными показателями и практической работой намерены во время онлайн-воркшопа CyberED. 13 августа одни и те же CTF-задачи попробуют решить вручную и с помощью нейросети. В ходе демонстрации сравнят скорость, последовательность действий и конечные результаты.
Воркшоп проведет специалист по анализу защищенности Никита Коломиец. Трансляция начнется в 18:30 мск, для подключения потребуется предварительная регистрация.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">ИИ-агенты уже умеют искать и эксплуатировать уязвимости, однако их реальные возможности сильно зависят от сложности задания, доступных инструментов и подсказок. В живых CTF-соревнованиях современные модели пока решают лишь небольшую часть поставленных задач.
Авторы представленного в мае 2026 года исследования CTFusion проверили GPT-4.1, Gemini 2.5 Flash и Claude 3.5 Sonnet в пяти CTF-соревнованиях. Средняя доля выполненных заданий составила от 5,1 до 7,1%. Лучшее сочетание модели и агентской системы справилось с 9,66% задач.
На статическом наборе NYU CTF Bench результаты оказались примерно вдвое выше и достигли 16,9%. Исследователи связывают разницу не только со сложностью заданий, но и с возможным попаданием готовых решений в обучающие данные нейросетей. Добавление веб-поиска позволило одному из агентов находить опубликованные разборы и даже копировать готовые флаги, не решая задачу самостоятельно.
Ограничения ИИ выявил и тест Cybench , включавший 40 профессиональных CTF-задач. Лучший результат без подсказок составил 17,5%. Модели не смогли самостоятельно решить ни одного задания, на разбор которого у команд специалистов уходило больше 11 минут. После разделения задач на отдельные этапы успешность на некоторых промежуточных шагах возрастала до 46,8%, однако выполнение отдельного действия не означало решение всей задачи.
Проверить разницу между лабораторными показателями и практической работой намерены во время онлайн-воркшопа CyberED. 13 августа одни и те же CTF-задачи попробуют решить вручную и с помощью нейросети. В ходе демонстрации сравнят скорость, последовательность действий и конечные результаты.
Воркшоп проведет специалист по анализу защищенности Никита Коломиец. Трансляция начнется в 18:30 мск, для подключения потребуется предварительная регистрация.
- Источник новости
- www.securitylab.ru
