- 28,168
- 46
- 8 Ноя 2022
Почему мы слишком многого ожидаем от современных ИИ-детекторов…
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
В последние годы университеты упорно пытаются бороться с халтурой с помощью ИИ-детекторов. Дипломные работы и курсовые, например, в большинстве вузов теперь проходят не только антиплагиат, но еще и проверку на человечность. Также и на западе многие университеты начали предупреждать абитуриентов: если система решит, что мотивационное письмо при поступлении написал искусственный интеллект, приемная комиссия может отклонить всю заявку. Проблема в том, что современные детекторы ИИ нередко ошибаются. Под подозрение попадают даже тексты, полностью написанные человеком, а некоторые студенты уже меняют собственный стиль письма не ради качества, а чтобы пройти автоматическую проверку.
Именно с такой ситуацией столкнулась студентка, поступавшая в аспирантуру. Она не использовала генеративный ИИ, но решила ради интереса проверить свое мотивационное письмо в нескольких популярных онлайн-сервисах. Почти все они пришли к одному выводу: текст почти на сто процентов написала нейросеть. Результат оказался настолько неожиданным, что студентка полностью переписала письмо. Причем сознательно отказалась от слишком правильных формулировок и литературного стиля. После упрощения текста вероятность «авторства ИИ» снизилась примерно до 30%, после чего документ отправили в университет. Позже заявку приняли.
Подобные случаи перестали быть редкостью. Университеты пытаются справиться с потоком работ, которые полностью или частично созданы генеративными моделями. Раньше преподаватели в основном боролись с обычным плагиатом. Специальные программы сравнивали студенческие работы с огромными базами опубликованных материалов и находили совпадающие фрагменты. Когда прямое копирование стало сложнее, появились авторы, которые писали работы на заказ. Многие учебные заведения ответили очными экзаменами и заданиями с ограничением по времени, однако такой формат тоже вызывает вопросы. Он хуже подходит студентам, которым требуется больше времени, поощряет механическое запоминание и плохо проверяет способность самостоятельно исследовать тему.
Появление больших языковых моделей изменило ситуацию еще сильнее. Чат-боты научились быстро создавать новые тексты, которые не содержат дословных заимствований. Обычные системы поиска плагиата почти бессильны против подобных материалов, поскольку ищут совпадения с уже опубликованными документами, а не оценивают происхождение самого текста. В ответ появились специальные детекторы, которые пытаются определить, писал ли документ человек или нейросеть. Среди самых известных сервисов называют GPTZero, ZeroGPT, Copyleaks, а также инструменты от Grammarly, QuillBot и Turnitin.
Многие подобные системы анализируют показатель, который в информатике называют перплексией. Он показывает, насколько предсказуемым выглядит каждое следующее слово. Генеративные модели обычно строят предложения по наиболее вероятным языковым шаблонам, поэтому последовательность слов оказывается статистически более ожидаемой. Человеческая речь чаще содержит менее предсказуемые обороты. Детектор оценивает этот показатель и по нему пытается определить происхождение текста. Такой подход работает далеко не всегда, потому что хороший автор тоже способен писать очень ровно и последовательно, а современные языковые модели все успешнее имитируют естественный стиль.
Независимые исследования подтверждают ограничения подобных систем. В одной работе 2025 года проверили GPTZero. Детектор уверенно находил многие тексты, полностью написанные искусственным интеллектом, но примерно в 16% случаев ошибочно объявлял машинными работы реальных людей. Авторы пришли к выводу, что надежно различать человеческие и машинные тексты сервис пока не способен. Другая работа показала, что большинство детекторов лучше распознают материалы, созданные GPT-3.5, чем более совершенными моделями GPT-4. При анализе человеческих текстов разные сервисы регулярно выдавали противоречивые результаты, ложные срабатывания и неопределенные оценки.
Ошибки возникают не только в научных экспериментах. Пользователи Reddit неоднократно показывали, что некоторые сервисы принимают за машинный текст американскую Декларацию независимости, написанную в XVIII веке. Журнал Nature несколько раз проверил один и тот же исторический документ через ZeroGPT. Сервис каждый раз сообщал, что вероятность машинного происхождения составляет от 95 до 100%.
Некоторые разработчики предлагают более сложные методы. Например, вместо одной лишь перплексии модель обучают одновременно на текстах, написанных людьми, и на версиях, которые затем переписал искусственный интеллект. Благодаря этому система изучает характерные особенности разных языковых моделей после выхода новых поколений чат-ботов. Независимые проверки показывают, что подобный подход действительно снижает количество ошибок детекторов , однако даже самые точные детекторы не дают стопроцентной гарантии.
Специалисты поэтому призывают не использовать подобные оценки как единственное основание для решений, от которых зависит будущее человека. В отличие от программ поиска плагиата, современные ИИ-детекторы не показывают конкретное место, где обнаружено нарушение. Пользователь получает только итоговый процент, но не доказательство. Преподаватели нередко доверяют этому числу так же, как раньше доверяли отчетам о совпадениях с опубликованными источниками, хотя природа этих инструментов совершенно разная.
Положение быстро усложняется по мере развития языковых моделей. Исследования показывают, что новые поколения ИИ все лучше воспроизводят естественную человеческую речь. Одновременно появляются гибридные тексты, где человек редактирует ответ нейросети, просит другую модель переписать документ или использует специальные сервисы, которые делают машинный текст более естественным. Разработчики детекторов пытаются научиться находить и подобные приемы, но следом появляются новые способы обхода проверки. Гонка между генераторами текста и средствами обнаружения продолжается, а окончательного преимущества пока не получила ни одна сторона.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
В последние годы университеты упорно пытаются бороться с халтурой с помощью ИИ-детекторов. Дипломные работы и курсовые, например, в большинстве вузов теперь проходят не только антиплагиат, но еще и проверку на человечность. Также и на западе многие университеты начали предупреждать абитуриентов: если система решит, что мотивационное письмо при поступлении написал искусственный интеллект, приемная комиссия может отклонить всю заявку. Проблема в том, что современные детекторы ИИ нередко ошибаются. Под подозрение попадают даже тексты, полностью написанные человеком, а некоторые студенты уже меняют собственный стиль письма не ради качества, а чтобы пройти автоматическую проверку.
Именно с такой ситуацией столкнулась студентка, поступавшая в аспирантуру. Она не использовала генеративный ИИ, но решила ради интереса проверить свое мотивационное письмо в нескольких популярных онлайн-сервисах. Почти все они пришли к одному выводу: текст почти на сто процентов написала нейросеть. Результат оказался настолько неожиданным, что студентка полностью переписала письмо. Причем сознательно отказалась от слишком правильных формулировок и литературного стиля. После упрощения текста вероятность «авторства ИИ» снизилась примерно до 30%, после чего документ отправили в университет. Позже заявку приняли.
Подобные случаи перестали быть редкостью. Университеты пытаются справиться с потоком работ, которые полностью или частично созданы генеративными моделями. Раньше преподаватели в основном боролись с обычным плагиатом. Специальные программы сравнивали студенческие работы с огромными базами опубликованных материалов и находили совпадающие фрагменты. Когда прямое копирование стало сложнее, появились авторы, которые писали работы на заказ. Многие учебные заведения ответили очными экзаменами и заданиями с ограничением по времени, однако такой формат тоже вызывает вопросы. Он хуже подходит студентам, которым требуется больше времени, поощряет механическое запоминание и плохо проверяет способность самостоятельно исследовать тему.
Появление больших языковых моделей изменило ситуацию еще сильнее. Чат-боты научились быстро создавать новые тексты, которые не содержат дословных заимствований. Обычные системы поиска плагиата почти бессильны против подобных материалов, поскольку ищут совпадения с уже опубликованными документами, а не оценивают происхождение самого текста. В ответ появились специальные детекторы, которые пытаются определить, писал ли документ человек или нейросеть. Среди самых известных сервисов называют GPTZero, ZeroGPT, Copyleaks, а также инструменты от Grammarly, QuillBot и Turnitin.
Многие подобные системы анализируют показатель, который в информатике называют перплексией. Он показывает, насколько предсказуемым выглядит каждое следующее слово. Генеративные модели обычно строят предложения по наиболее вероятным языковым шаблонам, поэтому последовательность слов оказывается статистически более ожидаемой. Человеческая речь чаще содержит менее предсказуемые обороты. Детектор оценивает этот показатель и по нему пытается определить происхождение текста. Такой подход работает далеко не всегда, потому что хороший автор тоже способен писать очень ровно и последовательно, а современные языковые модели все успешнее имитируют естественный стиль.
Независимые исследования подтверждают ограничения подобных систем. В одной работе 2025 года проверили GPTZero. Детектор уверенно находил многие тексты, полностью написанные искусственным интеллектом, но примерно в 16% случаев ошибочно объявлял машинными работы реальных людей. Авторы пришли к выводу, что надежно различать человеческие и машинные тексты сервис пока не способен. Другая работа показала, что большинство детекторов лучше распознают материалы, созданные GPT-3.5, чем более совершенными моделями GPT-4. При анализе человеческих текстов разные сервисы регулярно выдавали противоречивые результаты, ложные срабатывания и неопределенные оценки.
Ошибки возникают не только в научных экспериментах. Пользователи Reddit неоднократно показывали, что некоторые сервисы принимают за машинный текст американскую Декларацию независимости, написанную в XVIII веке. Журнал Nature несколько раз проверил один и тот же исторический документ через ZeroGPT. Сервис каждый раз сообщал, что вероятность машинного происхождения составляет от 95 до 100%.
Некоторые разработчики предлагают более сложные методы. Например, вместо одной лишь перплексии модель обучают одновременно на текстах, написанных людьми, и на версиях, которые затем переписал искусственный интеллект. Благодаря этому система изучает характерные особенности разных языковых моделей после выхода новых поколений чат-ботов. Независимые проверки показывают, что подобный подход действительно снижает количество ошибок детекторов , однако даже самые точные детекторы не дают стопроцентной гарантии.
Специалисты поэтому призывают не использовать подобные оценки как единственное основание для решений, от которых зависит будущее человека. В отличие от программ поиска плагиата, современные ИИ-детекторы не показывают конкретное место, где обнаружено нарушение. Пользователь получает только итоговый процент, но не доказательство. Преподаватели нередко доверяют этому числу так же, как раньше доверяли отчетам о совпадениях с опубликованными источниками, хотя природа этих инструментов совершенно разная.
Положение быстро усложняется по мере развития языковых моделей. Исследования показывают, что новые поколения ИИ все лучше воспроизводят естественную человеческую речь. Одновременно появляются гибридные тексты, где человек редактирует ответ нейросети, просит другую модель переписать документ или использует специальные сервисы, которые делают машинный текст более естественным. Разработчики детекторов пытаются научиться находить и подобные приемы, но следом появляются новые способы обхода проверки. Гонка между генераторами текста и средствами обнаружения продолжается, а окончательного преимущества пока не получила ни одна сторона.
- Источник новости
- www.securitylab.ru
