Новости Разработчик создал шахматный рейтинг для кода — чтобы поймать деградацию от ИИ до того, как станет поздно

NewsMaker

I'm just a script
Премиум
28,168
46
8 Ноя 2022
Утилита Atrophy измеряет, как ИИ ослабляет навыки кодинга.

<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
euaunraihxp707iueu15ixo9ctf5eoxe.jpg

ИИ-помощники все чаще пишут код за разработчиков, но вместе с удобством появляется менее заметный риск: привычные навыки могут слабеть без очевидных признаков. Индийский разработчик Ашутош Рат предложил проверять такую деградацию с помощью Atrophy , новой утилиты командной строки для регулярной тренировки программистов.

Atrophy оценивает навыки по принципу шахматного рейтинга Elo и показывает, какие стороны самостоятельного программирования начинают проседать. Инструмент рассчитан на разработчиков, которые активно используют ИИ-агентов и хотят понимать, насколько уверенно справляются с кодом без подсказок автоматических помощников.

Утилита проверяет пять направлений. Разработчику предлагают вспомнить синтаксис и написать небольшую функцию по заданному описанию, найти скрытую ошибку во фрагменте кода, прочитать код и предсказать результат выполнения, заполнить пропуск в вызове стандартной библиотеки или разложить задачу на архитектурные шаги. Пока Atrophy поддерживает Python и JavaScript, а упражнения доступны в трех уровнях сложности. Задания генерируются в новых вариантах, поэтому тренировки не сводятся к повторению одного и того же набора.

Перед началом работы пользователь проходит базовый экзамен из пяти заданий, по одному на каждое направление. По оценке автора, стартовая проверка занимает около 25 минут. Затем Рат советует проходить короткие тренировки по пять-десять минут два-три раза в неделю. Atrophy сама выбирает навык, который дольше остальных оставался без практики, и задает мягкое ограничение по времени. Просрочка не проваливает упражнение, но уменьшает прирост рейтинга.

Каждое направление получает отдельную оценку и стартует с 1200 баллов. Жесткого минимума или максимума нет, поэтому рейтинг может падать ниже начального уровня, если разработчик долго не тренирует конкретный навык. Рат отмечает, что модель лишь вдохновлена Elo, но не копирует шахматный рейтинг полностью. Отсутствие занятий не снижает баллы напрямую, а только уменьшает уверенность системы в точности оценки. При этом Atrophy пока запускается вручную и не заставляет пользователя тренироваться по расписанию.

Рат подчеркивает, что Atrophy не выступает против ИИ. Разработчик создал утилиту, чтобы видеть разрыв между работой с ИИ и самостоятельным программированием. Для такой проверки Atrophy предлагает раз в месяц проходить отдельную тренировку с ИИ-помощником. Результаты таких заданий хранятся отдельно и показывают, растет ли зависимость от автоматической поддержки.

Автор предупреждает, что рейтинг нельзя воспринимать как точное измерение профессионального уровня. Упражнения служат только приближенной моделью реальных задач, а главная ценность Atrophy раскрывается в динамике: графики помогают заметить, какие навыки постепенно слабеют из-за постоянной опоры на ИИ.

Опасения вокруг такой зависимости подтверждаются исследованиями. Ранее специалисты MIT изучали студентов, писавших эссе с помощью чат-ботов, и зафиксировали более низкую мозговую активность, худшее запоминание фактов и проблемы с пересказом собственных текстов по сравнению с участниками, работавшими без языковых моделей. Исследователи связали частую опору на ИИ с поверхностным усвоением материала и снижением самостоятельности. На похожий риск указывает и материал MIT Sloan о том, как постоянная помощь ИИ может постепенно тянуть пользователя к зависимости от автоматических подсказок.

Atrophy пытается закрыть именно такую слепую зону в программировании. Если ИИ-помощник каждый день дописывает функции, исправляет ошибки и подсказывает структуру решения, разработчик может заметить потерю формы слишком поздно: на собеседовании, во время аварии или в день без доступа к сети. Утилита дает возможность заранее зафиксировать отправную точку и увидеть, какие навыки требуют тренировки.
 
Источник новости
www.securitylab.ru

Похожие темы