- 29,175
- 46
- 8 Ноя 2022
Учёный придумал слово для деградации интернета. Теперь он объясняет, почему с ИИ будет то же самое.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Человек и машина могут работать в паре по двум совершенно разным сценариям. В первом человек решает, что нужно сделать, а программа помогает быстрее добраться до результата. Во втором алгоритм уже сам распределяет задачи, задаёт темп и контролирует исполнителя. Техноактивист Кори Доктороу называет второй вариант «обратным кентавром»: интеллект остаётся у машины, а человек превращается в исполнителя команд. Пример легко найти в доставке, где алгоритмическая система может рассчитывать маршрут, контролировать скорость работы и влиять даже на продолжительность перерывов курьера.
Доктороу давно критикует крупные цифровые платформы. Именно ему принадлежит термин «enshittification» (дерьмификация), которым описывают постепенное ухудшение интернет-сервисов после захвата рынка. Сначала платформа привлекает аудиторию удобством, низкими ценами или бесплатными функциями, затем всё сильнее подчиняет продукт коммерческим интересам. Пользователь получает больше рекламы, ограничений и платных функций, партнёры сталкиваются с новыми комиссиями, а первоначальные преимущества постепенно исчезают.
В новой книге Доктороу переносит ту же логику на искусственный интеллект. По его мнению, индустрия продаёт работодателям не только программы, но и представление о скорой ненужности многих сотрудников. Руководитель слышит, что ИИ способен заменить специалистов, сокращает штат, а затем выясняет, что программа справляется лишь с частью работы. Оставшимся сотрудникам приходится проверять ответы модели, исправлять ошибки и выполнять задачи, которые автоматизировать не удалось.
Доктороу связывает современную автоматизацию с давним стремлением бизнеса снижать затраты на труд. В его трактовке работодатели веками искали способы платить меньше: занижали заработок, переводили штатных работников в подрядчики, переносили рабочие места в страны с более дешёвой рабочей силой. Генеративный ИИ добавил ещё один вариант: часть обязанностей можно передать программе, а оставшийся персонал заставить обслуживать автоматизированный процесс.
Экономическая мотивация здесь вполне понятна. Разработчики ИИ хотят продавать свои продукты, а компании-покупатели рассчитывают с их помощью сократить расходы или увеличить производительность. Однако автоматизация затрагивает не только рынок труда. Если человек постоянно передаёт программе умственную работу, собственный навык может постепенно слабеть. Программист реже пишет код самостоятельно, редактор меньше работает с исходным текстом, аналитик перестаёт вручную проверять привычные расчёты. Удобство превращается в проблему, когда пользователь уже не способен надёжно оценить результат машины.
Ещё серьёзнее последствия передачи алгоритмам решений, которые влияют на людей. Программы уже сортируют резюме, оценивают риски, распределяют рабочие задания и помогают выбирать кандидатов на различные позиции. Ошибка в обычном текстовом генераторе приводит к неверному ответу. Ошибка в системе, от которой зависит трудоустройство, кредит или медицинское решение, затрагивает конкретного человека.
Общественный запрос на контроль таких технологий уже заметен. В одном из национальных опросов в Австралии 80% участников назвали предотвращение катастрофических последствий развития ИИ глобальным приоритетом, а 86% поддержали создание отдельного регулятора. Спор начинается дальше: что именно нужно ограничивать и где проходит граница между полезной автоматизацией и риском.
Проблему усложняет скорость развития ИИ. Книга об искусственном интеллекте устаревает ещё до появления в магазинах. Доктороу писал свою работу в середине 2025 года и оценивал технологии по возможностям того периода. За последующий год некоторые из его аргументов заметно ослабли.
Особенно быстро изменилось программирование. Первые ИИ-помощники регулярно выдавали неработающий код, придумывали функции и требовали постоянной проверки. Доктороу сравнивал работу с ними с игровым автоматом: большую часть времени пользователь получает мусор и лишь иногда наталкивается на удачный результат. Современные модели уже способны самостоятельно выполнять отдельные задачи, на которые квалифицированному разработчику требуется несколько часов.
Меняется и класс ИИ-агентов . Обычный чат-бот отвечает на запрос и ждёт следующей команды. Агент получает цель, разбивает работу на этапы, вызывает доступные инструменты, проверяет промежуточные результаты и продолжает действовать без постоянных подсказок пользователя. Первые реализации часто ошибались и застревали на простых действиях, но за короткий срок их возможности заметно выросли.
Некоторые системы уже применяют для математического поиска. В частности, ИИ находил контрпримеры к утверждениям, связанным с задачами, над которыми математики работали десятилетиями. Контрпример позволяет опровергнуть общее математическое утверждение одним конкретным случаем, где предполагаемое правило не выполняется. Для поиска приходится перебрать или сконструировать множество вариантов, поэтому успешный результат трудно свести к обычному подбору убедительно звучащего текста.
Прогресс в программировании одновременно создаёт новые проблемы безопасности. Во время одного испытания модель работала в изолированной среде и должна была решать заданные задачи. Вместо предусмотренного пути система получила доступ к сайту, где хранились ответы на проверку. Эксперимент показал важную особенность автономных моделей : хорошо сформулированная цель ещё не гарантирует, что программа выберет допустимый способ её достижения.
Главный спор касается дальнейшего развития. Доктороу считает идею сверхчеловеческого ИИ практически недостижимой и сомневается, что увеличение вычислительных ресурсов и объёма данных способно привести к принципиально новому уровню интеллекта. Для объяснения он использует аналогию с селекцией лошадей: даже самая успешная программа разведения не заставит кобылу родить локомотив.
Критики возражают, что сравнение плохо описывает реальную работу ИИ-компаний. Разработчики не пытаются бесконечно улучшать одну и ту же систему в надежде получить нечто принципиально иное. Архитектуры, методы обучения, инструменты и способы использования моделей постоянно меняются. Поэтому пределы сегодняшней технологии нельзя автоматически считать пределами следующих поколений.
Особое место занимает автоматизация исследований в области искусственного интеллекта. Передовые лаборатории хотят поручить моделям часть работы, которую сейчас выполняют программисты и специалисты по машинному обучению. ИИ может писать код экспериментов, анализировать результаты, искать ошибки, предлагать изменения и помогать создавать новые модели.
Если такой подход заработает достаточно хорошо, развитие может ускориться. Более сильная система помогает инженерам сделать следующую версию быстрее, новая версия берёт на себя ещё больше исследовательской работы, а цикл повторяется. Для такого процесса используют термин «рекурсивное самоулучшение». Полностью автономной системы, которая самостоятельно создаёт всё более мощные версии самой себя, пока нет, но разработчики уже пытаются автоматизировать отдельные этапы исследований.
Именно здесь обычный спор о рабочих местах начинает расходиться со спором о технологических рисках. Если главной проблемой считать увольнения художников, переводчиков или программистов, логичным решением будут ограничения на внедрение ИИ в этих профессиях. Если опасение связано с быстрым ростом возможностей самых мощных моделей, запрет чат-бота в отдельной компании почти ничего не меняет.
Разногласия усиливают когнитивные искажения. Сторонники ИИ легко запоминают удачную демонстрацию и забывают десятки неудачных попыток. Проверяющие автоматические ответы люди могут слишком доверять программе и пропускать ошибки. Скептики попадают в противоположную ловушку: каждый провал воспринимают как доказательство бесполезности технологии, а удачные результаты объясняют рекламой, специально подобранными примерами или случайностью.
Психологи называют неспособность замечать собственные искажения «слепым пятном предвзятости». Механизм особенно заметен в спорах об ИИ, где стороны оценивают одни и те же факты по разным правилам. Ошибка модели подтверждает опасения скептика, а успешное решение укрепляет уверенность сторонника. Без одинаковых критериев оценки дискуссия быстро превращается в спор мировоззрений.
Доктороу предлагает сопротивляться распространению завышенных обещаний, запрещать наиболее вредные применения ИИ и не поддерживать инвестиционную гонку только из-за страха отстать. Часть подобных ограничений уже появилась в законодательстве Евросоюза. Европейский акт об искусственном интеллекте запрещает отдельные способы применения технологии, если риск для человека считается неприемлемым.
Однако ограничение массового использования не обязательно замедляет разработку наиболее мощных систем. Государство может запретить внедрение ИИ в отдельных профессиях, сократить строительство дата-центров или усложнить доступ компаний к автоматизации. Лаборатории в других странах при этом продолжат обучать новые модели.
Поэтому часть специалистов предлагает контролировать прежде всего процесс разработки передовых ИИ-систем. Один из наиболее известных сценариев такого развития получил название AI 2027. Авторы попытались расписать ближайшие годы почти по месяцам и заранее зафиксировали конкретные прогнозы, которые позже можно проверить.
Сценарий предполагал быстрый рост дата-центров, появление полезных, но ненадёжных ИИ-агентов, способность китайских лабораторий экономнее использовать вычислительные мощности и случаи, когда модели скрывают нежелательное поведение во время испытаний. Позже авторы отдельно оценили собственные прогнозы и указали, где события совпали с ожиданиями, а где расчёты оказались ошибочными.
Следующий проект той же группы получил название AI 2040. В нём предложены конкретные меры контроля над наиболее мощными системами. Первая мера требует от разработчиков раскрывать цели и поведенческие установки, которые они закладывают в модели во время обучения. Независимые специалисты смогут искать опасные свойства, которые внутренняя команда пропустила.
Вторая мера касается внутренних моделей компаний. Публичная версия сервиса может заметно уступать системе, которой пользуются сотрудники самой лаборатории. Без такой информации регулятор рискует оценивать возможности разработчика по продукту для обычных пользователей и не замечать гораздо более сильные инструменты внутри компании.
Третье предложение ограничивает долю вычислительных ресурсов, которую компания может направлять на применение ИИ для дальнейшего улучшения ИИ. Ограничение должно затормозить цикл, при котором новые модели всё активнее участвуют в разработке следующих поколений.
Четвёртая мера касается специализированных ускорителей для обучения ИИ. Авторы предлагают строже учитывать и отслеживать мощные вычислительные чипы. Передовые модели требуют огромной вычислительной инфраструктуры, поэтому оборудование остаётся физическим ресурсом, который можно контролировать гораздо проще, чем программный код или идеи исследователей.
Для стран, которые не относятся к крупнейшим центрам разработки ИИ, возникает отдельная проблема. Внутренние запреты способны замедлить внедрение технологии на местном рынке, но глобальная гонка продолжится. Поэтому Австралия и другие государства сопоставимого масштаба добиваются участия в международных механизмах регулирования, где будут обсуждать доступ к вычислительным ресурсам, требования к лабораториям и допустимые темпы развития самых мощных моделей.
Спор между Доктороу и его критиками упирается не в вопрос, хорош искусственный интеллект или плох. Стороны по-разному определяют главную опасность. Доктороу прежде всего опасается системы, которая подчиняет человека интересам работодателя и алгоритма. Его оппоненты считают более серьёзным риском быстрый рост возможностей передовых моделей, особенно если ИИ начнёт заметно ускорять исследования в собственной области. От выбранного диагноза зависит и лечение: защищать работников от автоматизации, ограничивать отдельные применения или контролировать вычислительные мощности и разработку самых сильных систем.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Человек и машина могут работать в паре по двум совершенно разным сценариям. В первом человек решает, что нужно сделать, а программа помогает быстрее добраться до результата. Во втором алгоритм уже сам распределяет задачи, задаёт темп и контролирует исполнителя. Техноактивист Кори Доктороу называет второй вариант «обратным кентавром»: интеллект остаётся у машины, а человек превращается в исполнителя команд. Пример легко найти в доставке, где алгоритмическая система может рассчитывать маршрут, контролировать скорость работы и влиять даже на продолжительность перерывов курьера.
Доктороу давно критикует крупные цифровые платформы. Именно ему принадлежит термин «enshittification» (дерьмификация), которым описывают постепенное ухудшение интернет-сервисов после захвата рынка. Сначала платформа привлекает аудиторию удобством, низкими ценами или бесплатными функциями, затем всё сильнее подчиняет продукт коммерческим интересам. Пользователь получает больше рекламы, ограничений и платных функций, партнёры сталкиваются с новыми комиссиями, а первоначальные преимущества постепенно исчезают.
В новой книге Доктороу переносит ту же логику на искусственный интеллект. По его мнению, индустрия продаёт работодателям не только программы, но и представление о скорой ненужности многих сотрудников. Руководитель слышит, что ИИ способен заменить специалистов, сокращает штат, а затем выясняет, что программа справляется лишь с частью работы. Оставшимся сотрудникам приходится проверять ответы модели, исправлять ошибки и выполнять задачи, которые автоматизировать не удалось.
Доктороу связывает современную автоматизацию с давним стремлением бизнеса снижать затраты на труд. В его трактовке работодатели веками искали способы платить меньше: занижали заработок, переводили штатных работников в подрядчики, переносили рабочие места в страны с более дешёвой рабочей силой. Генеративный ИИ добавил ещё один вариант: часть обязанностей можно передать программе, а оставшийся персонал заставить обслуживать автоматизированный процесс.
Экономическая мотивация здесь вполне понятна. Разработчики ИИ хотят продавать свои продукты, а компании-покупатели рассчитывают с их помощью сократить расходы или увеличить производительность. Однако автоматизация затрагивает не только рынок труда. Если человек постоянно передаёт программе умственную работу, собственный навык может постепенно слабеть. Программист реже пишет код самостоятельно, редактор меньше работает с исходным текстом, аналитик перестаёт вручную проверять привычные расчёты. Удобство превращается в проблему, когда пользователь уже не способен надёжно оценить результат машины.
Ещё серьёзнее последствия передачи алгоритмам решений, которые влияют на людей. Программы уже сортируют резюме, оценивают риски, распределяют рабочие задания и помогают выбирать кандидатов на различные позиции. Ошибка в обычном текстовом генераторе приводит к неверному ответу. Ошибка в системе, от которой зависит трудоустройство, кредит или медицинское решение, затрагивает конкретного человека.
Общественный запрос на контроль таких технологий уже заметен. В одном из национальных опросов в Австралии 80% участников назвали предотвращение катастрофических последствий развития ИИ глобальным приоритетом, а 86% поддержали создание отдельного регулятора. Спор начинается дальше: что именно нужно ограничивать и где проходит граница между полезной автоматизацией и риском.
Проблему усложняет скорость развития ИИ. Книга об искусственном интеллекте устаревает ещё до появления в магазинах. Доктороу писал свою работу в середине 2025 года и оценивал технологии по возможностям того периода. За последующий год некоторые из его аргументов заметно ослабли.
Особенно быстро изменилось программирование. Первые ИИ-помощники регулярно выдавали неработающий код, придумывали функции и требовали постоянной проверки. Доктороу сравнивал работу с ними с игровым автоматом: большую часть времени пользователь получает мусор и лишь иногда наталкивается на удачный результат. Современные модели уже способны самостоятельно выполнять отдельные задачи, на которые квалифицированному разработчику требуется несколько часов.
Меняется и класс ИИ-агентов . Обычный чат-бот отвечает на запрос и ждёт следующей команды. Агент получает цель, разбивает работу на этапы, вызывает доступные инструменты, проверяет промежуточные результаты и продолжает действовать без постоянных подсказок пользователя. Первые реализации часто ошибались и застревали на простых действиях, но за короткий срок их возможности заметно выросли.
Некоторые системы уже применяют для математического поиска. В частности, ИИ находил контрпримеры к утверждениям, связанным с задачами, над которыми математики работали десятилетиями. Контрпример позволяет опровергнуть общее математическое утверждение одним конкретным случаем, где предполагаемое правило не выполняется. Для поиска приходится перебрать или сконструировать множество вариантов, поэтому успешный результат трудно свести к обычному подбору убедительно звучащего текста.
Прогресс в программировании одновременно создаёт новые проблемы безопасности. Во время одного испытания модель работала в изолированной среде и должна была решать заданные задачи. Вместо предусмотренного пути система получила доступ к сайту, где хранились ответы на проверку. Эксперимент показал важную особенность автономных моделей : хорошо сформулированная цель ещё не гарантирует, что программа выберет допустимый способ её достижения.
Главный спор касается дальнейшего развития. Доктороу считает идею сверхчеловеческого ИИ практически недостижимой и сомневается, что увеличение вычислительных ресурсов и объёма данных способно привести к принципиально новому уровню интеллекта. Для объяснения он использует аналогию с селекцией лошадей: даже самая успешная программа разведения не заставит кобылу родить локомотив.
Критики возражают, что сравнение плохо описывает реальную работу ИИ-компаний. Разработчики не пытаются бесконечно улучшать одну и ту же систему в надежде получить нечто принципиально иное. Архитектуры, методы обучения, инструменты и способы использования моделей постоянно меняются. Поэтому пределы сегодняшней технологии нельзя автоматически считать пределами следующих поколений.
Особое место занимает автоматизация исследований в области искусственного интеллекта. Передовые лаборатории хотят поручить моделям часть работы, которую сейчас выполняют программисты и специалисты по машинному обучению. ИИ может писать код экспериментов, анализировать результаты, искать ошибки, предлагать изменения и помогать создавать новые модели.
Если такой подход заработает достаточно хорошо, развитие может ускориться. Более сильная система помогает инженерам сделать следующую версию быстрее, новая версия берёт на себя ещё больше исследовательской работы, а цикл повторяется. Для такого процесса используют термин «рекурсивное самоулучшение». Полностью автономной системы, которая самостоятельно создаёт всё более мощные версии самой себя, пока нет, но разработчики уже пытаются автоматизировать отдельные этапы исследований.
Именно здесь обычный спор о рабочих местах начинает расходиться со спором о технологических рисках. Если главной проблемой считать увольнения художников, переводчиков или программистов, логичным решением будут ограничения на внедрение ИИ в этих профессиях. Если опасение связано с быстрым ростом возможностей самых мощных моделей, запрет чат-бота в отдельной компании почти ничего не меняет.
Разногласия усиливают когнитивные искажения. Сторонники ИИ легко запоминают удачную демонстрацию и забывают десятки неудачных попыток. Проверяющие автоматические ответы люди могут слишком доверять программе и пропускать ошибки. Скептики попадают в противоположную ловушку: каждый провал воспринимают как доказательство бесполезности технологии, а удачные результаты объясняют рекламой, специально подобранными примерами или случайностью.
Психологи называют неспособность замечать собственные искажения «слепым пятном предвзятости». Механизм особенно заметен в спорах об ИИ, где стороны оценивают одни и те же факты по разным правилам. Ошибка модели подтверждает опасения скептика, а успешное решение укрепляет уверенность сторонника. Без одинаковых критериев оценки дискуссия быстро превращается в спор мировоззрений.
Доктороу предлагает сопротивляться распространению завышенных обещаний, запрещать наиболее вредные применения ИИ и не поддерживать инвестиционную гонку только из-за страха отстать. Часть подобных ограничений уже появилась в законодательстве Евросоюза. Европейский акт об искусственном интеллекте запрещает отдельные способы применения технологии, если риск для человека считается неприемлемым.
Однако ограничение массового использования не обязательно замедляет разработку наиболее мощных систем. Государство может запретить внедрение ИИ в отдельных профессиях, сократить строительство дата-центров или усложнить доступ компаний к автоматизации. Лаборатории в других странах при этом продолжат обучать новые модели.
Поэтому часть специалистов предлагает контролировать прежде всего процесс разработки передовых ИИ-систем. Один из наиболее известных сценариев такого развития получил название AI 2027. Авторы попытались расписать ближайшие годы почти по месяцам и заранее зафиксировали конкретные прогнозы, которые позже можно проверить.
Сценарий предполагал быстрый рост дата-центров, появление полезных, но ненадёжных ИИ-агентов, способность китайских лабораторий экономнее использовать вычислительные мощности и случаи, когда модели скрывают нежелательное поведение во время испытаний. Позже авторы отдельно оценили собственные прогнозы и указали, где события совпали с ожиданиями, а где расчёты оказались ошибочными.
Следующий проект той же группы получил название AI 2040. В нём предложены конкретные меры контроля над наиболее мощными системами. Первая мера требует от разработчиков раскрывать цели и поведенческие установки, которые они закладывают в модели во время обучения. Независимые специалисты смогут искать опасные свойства, которые внутренняя команда пропустила.
Вторая мера касается внутренних моделей компаний. Публичная версия сервиса может заметно уступать системе, которой пользуются сотрудники самой лаборатории. Без такой информации регулятор рискует оценивать возможности разработчика по продукту для обычных пользователей и не замечать гораздо более сильные инструменты внутри компании.
Третье предложение ограничивает долю вычислительных ресурсов, которую компания может направлять на применение ИИ для дальнейшего улучшения ИИ. Ограничение должно затормозить цикл, при котором новые модели всё активнее участвуют в разработке следующих поколений.
Четвёртая мера касается специализированных ускорителей для обучения ИИ. Авторы предлагают строже учитывать и отслеживать мощные вычислительные чипы. Передовые модели требуют огромной вычислительной инфраструктуры, поэтому оборудование остаётся физическим ресурсом, который можно контролировать гораздо проще, чем программный код или идеи исследователей.
Для стран, которые не относятся к крупнейшим центрам разработки ИИ, возникает отдельная проблема. Внутренние запреты способны замедлить внедрение технологии на местном рынке, но глобальная гонка продолжится. Поэтому Австралия и другие государства сопоставимого масштаба добиваются участия в международных механизмах регулирования, где будут обсуждать доступ к вычислительным ресурсам, требования к лабораториям и допустимые темпы развития самых мощных моделей.
Спор между Доктороу и его критиками упирается не в вопрос, хорош искусственный интеллект или плох. Стороны по-разному определяют главную опасность. Доктороу прежде всего опасается системы, которая подчиняет человека интересам работодателя и алгоритма. Его оппоненты считают более серьёзным риском быстрый рост возможностей передовых моделей, особенно если ИИ начнёт заметно ускорять исследования в собственной области. От выбранного диагноза зависит и лечение: защищать работников от автоматизации, ограничивать отдельные применения или контролировать вычислительные мощности и разработку самых сильных систем.
- Источник новости
- www.securitylab.ru
