- 29,146
- 46
- 8 Ноя 2022
Учёные объяснили, при чем здесь языковая ловушка из 1950-х.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Компьютеры давно научились выполнять задачи, которые раньше требовали обязательного присутствия человека: писать связные тексты, распознавать изображения, отвечать на вопросы и находить закономерности в огромных массивах данных. Вместе с новыми возможностями в повседневную речь вошли привычные человеческие глаголы. Машины теперь «думают», «читают», «пишут», «учатся» и «понимают». Историки вычислительной техники проследили , как подобная лексика закреплялась с 1950-х годов, и пришли к выводу, что слова нередко приписывают компьютерам больше человеческих свойств, чем следует из принципов их работы.
Проблема возникла задолго до современных нейросетей. Уже в середине XX века специалисты описывали вычислительные процессы словами, которые прежде относились почти исключительно к людям. Для инженера слово «обучение» могло обозначать вполне конкретную процедуру: программа применяет заданные правила, сравнивает результаты и чаще выбирает действия, которые раньше приводили к успеху. Человек без технической подготовки вкладывает в обучение гораздо более широкий смысл: приобретение опыта, понимание нового, исправление ошибок и изменение собственных представлений.
Разница между двумя значениями постепенно размывалась. Исследователи называют такой приём стратегической двусмысленностью. Один термин остаётся технически понятным специалистам, но одновременно вызывает у широкой аудитории ассоциации с человеческим мышлением. Намеренная манипуляция при этом не обязательна. Короткое слово просто удобнее длинного объяснения алгоритма, а со временем метафора начинает восприниматься почти буквально.
Показательный пример появился ещё в работах одного из основателей кибернетики Норберта Винера. Учёный говорил об обучении компьютеров, когда машина меняла поведение по заданным правилам и добивалась более успешного результата. Коллеги понимали технический смысл формулировки. За пределами профессионального сообщества слово неизбежно напоминало человеческое обучение со всеми связанными с ним знаниями, памятью и опытом.
Современный искусственный интеллект усилил старую языковую проблему. Языковая модель «пишет» ответ, генератор изображений «рисует», поисковая система «понимает» запрос, а новая модель якобы «рассуждает» перед выдачей результата. Формулировки удобны, но каждый глагол переносит на программу часть смысла, связанного с сознательным действием человека.
Более точное описание показывает другой процесс. Языковая модель получает входные данные и вычисляет наиболее подходящее продолжение с учётом закономерностей, усвоенных во время обучения. Генератор изображений преобразует текстовый запрос в набор внутренних представлений и поэтапно создаёт картинку, соответствующую заданному описанию. Высокое качество результата не требует предполагать человеческий способ мышления.
Разница особенно хорошо заметна на генераторах изображений. Пользователь может попросить нарисовать собаку верхом на пони во время парада бейсбольной команды New York Mets и получить сцену, близкую к задуманной. Сам результат действительно сложен: система должна связать несколько объектов, понять их взаимное расположение, учесть контекст парада и собрать все элементы в единое изображение.
Исследователи предлагают называть подобный результат техническим достижением, а не автоматически приравнивать генерацию к человеческому творчеству. Человек создаёт произведения под влиянием биографии, эмоций, намерений, воспоминаний и культурного опыта. Генеративная модель работает с математическими представлениями и статистическими закономерностями в данных. Одинаковый конечный формат, например текст или изображение, не делает внутренние процессы одинаковыми.
Та же проблема появляется при оценке интеллектуальных возможностей нейросетей. Для проверки моделей используют стандартизированные наборы задач, среди которых MMLU, тест на понимание языка по множеству дисциплин, и более новый «Последний экзамен человечества». Системам предлагают вопросы из разных областей и подсчитывают долю правильных ответов .
Высокий балл часто превращается в утверждение, что модель «знает», «понимает» или «рассуждает» на определённом уровне. Сам тест фиксирует гораздо более конкретный результат: насколько часто система выбирает или формирует правильный ответ в заданном наборе задач. Такая проверка позволяет сравнивать модели между собой, но сама по себе не доказывает наличие человеческого понимания.
Человеческое знание включает больше, чем способность правильно ответить на экзаменационный вопрос. Люди связывают новую информацию с прежним опытом, пересматривают убеждения, оценивают последствия решений и применяют знания в ситуациях, которые сильно отличаются от учебного задания. Компьютерный тест не измеряет весь комплекс этих процессов.
С чтением возникает похожая разница. Программа способна обработать стихотворение , определить тему, найти рифму, разобрать структуру и подготовить подробный анализ. Человек может читать то же произведение ради другого человека, который его написал. На восприятие влияют биография автора, историческая эпоха, переживания, интонация и понимание причин, по которым текст появился.
Если оценивать письмо, чтение и творчество только по конечному результату, различия постепенно исчезают из разговора. Нейросеть выдала связный абзац, значит «написала». Ответила правильно, значит «знает». Решила сложную задачу, значит «поняла». Слова незаметно превращают вычислительный инструмент в предполагаемого соперника человека и одновременно упрощают представление о самих человеческих способностях.
История вычислительной техники показывает, что споры о роли компьютеров раньше охватывали гораздо больше областей. В середине XX века обсуждать возможности и границы машин пытались инженеры, математики, психологи, историки и специалисты по литературе. У общества ещё не было готового ответа, какие решения можно доверять компьютерам, кто должен контролировать вычислительные системы и какое место техника должна занимать в повседневной жизни.
Современные системы сделали старые вопросы заметно острее. Алгоритмы и математические методы требуют точных определений, тогда как повседневный язык допускает несколько значений одного слова. Специалист может использовать термин в узком профессиональном смысле, а человек со стороны прочитает ту же фразу совсем иначе.
Поэтому формулировки напрямую влияют на восприятие возможностей ИИ. Слово «обучение» может обозначать математическую настройку параметров модели, но в обычной речи связано с приобретением знаний человеком. «Понимание» может означать успешную обработку запроса, хотя для людей включает осмысление содержания и контекста. «Мышление» нередко используют для обозначения последовательности вычислительных операций, хотя человеческое мышление связано с гораздо более широким набором когнитивных процессов.
Авторы исследования не предлагают принижать возможности современных моделей. Они предлагают точнее называть наблюдаемые действия. Нейросеть генерирует текст, классифицирует данные, выбирает ответы, строит изображения и выполняет инструкции. Такой язык позволяет обсуждать реальные способности систем без автоматического переноса на компьютер свойств человеческого сознания.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Компьютеры давно научились выполнять задачи, которые раньше требовали обязательного присутствия человека: писать связные тексты, распознавать изображения, отвечать на вопросы и находить закономерности в огромных массивах данных. Вместе с новыми возможностями в повседневную речь вошли привычные человеческие глаголы. Машины теперь «думают», «читают», «пишут», «учатся» и «понимают». Историки вычислительной техники проследили , как подобная лексика закреплялась с 1950-х годов, и пришли к выводу, что слова нередко приписывают компьютерам больше человеческих свойств, чем следует из принципов их работы.
Проблема возникла задолго до современных нейросетей. Уже в середине XX века специалисты описывали вычислительные процессы словами, которые прежде относились почти исключительно к людям. Для инженера слово «обучение» могло обозначать вполне конкретную процедуру: программа применяет заданные правила, сравнивает результаты и чаще выбирает действия, которые раньше приводили к успеху. Человек без технической подготовки вкладывает в обучение гораздо более широкий смысл: приобретение опыта, понимание нового, исправление ошибок и изменение собственных представлений.
Разница между двумя значениями постепенно размывалась. Исследователи называют такой приём стратегической двусмысленностью. Один термин остаётся технически понятным специалистам, но одновременно вызывает у широкой аудитории ассоциации с человеческим мышлением. Намеренная манипуляция при этом не обязательна. Короткое слово просто удобнее длинного объяснения алгоритма, а со временем метафора начинает восприниматься почти буквально.
Показательный пример появился ещё в работах одного из основателей кибернетики Норберта Винера. Учёный говорил об обучении компьютеров, когда машина меняла поведение по заданным правилам и добивалась более успешного результата. Коллеги понимали технический смысл формулировки. За пределами профессионального сообщества слово неизбежно напоминало человеческое обучение со всеми связанными с ним знаниями, памятью и опытом.
Современный искусственный интеллект усилил старую языковую проблему. Языковая модель «пишет» ответ, генератор изображений «рисует», поисковая система «понимает» запрос, а новая модель якобы «рассуждает» перед выдачей результата. Формулировки удобны, но каждый глагол переносит на программу часть смысла, связанного с сознательным действием человека.
Более точное описание показывает другой процесс. Языковая модель получает входные данные и вычисляет наиболее подходящее продолжение с учётом закономерностей, усвоенных во время обучения. Генератор изображений преобразует текстовый запрос в набор внутренних представлений и поэтапно создаёт картинку, соответствующую заданному описанию. Высокое качество результата не требует предполагать человеческий способ мышления.
Разница особенно хорошо заметна на генераторах изображений. Пользователь может попросить нарисовать собаку верхом на пони во время парада бейсбольной команды New York Mets и получить сцену, близкую к задуманной. Сам результат действительно сложен: система должна связать несколько объектов, понять их взаимное расположение, учесть контекст парада и собрать все элементы в единое изображение.
Исследователи предлагают называть подобный результат техническим достижением, а не автоматически приравнивать генерацию к человеческому творчеству. Человек создаёт произведения под влиянием биографии, эмоций, намерений, воспоминаний и культурного опыта. Генеративная модель работает с математическими представлениями и статистическими закономерностями в данных. Одинаковый конечный формат, например текст или изображение, не делает внутренние процессы одинаковыми.
Та же проблема появляется при оценке интеллектуальных возможностей нейросетей. Для проверки моделей используют стандартизированные наборы задач, среди которых MMLU, тест на понимание языка по множеству дисциплин, и более новый «Последний экзамен человечества». Системам предлагают вопросы из разных областей и подсчитывают долю правильных ответов .
Высокий балл часто превращается в утверждение, что модель «знает», «понимает» или «рассуждает» на определённом уровне. Сам тест фиксирует гораздо более конкретный результат: насколько часто система выбирает или формирует правильный ответ в заданном наборе задач. Такая проверка позволяет сравнивать модели между собой, но сама по себе не доказывает наличие человеческого понимания.
Человеческое знание включает больше, чем способность правильно ответить на экзаменационный вопрос. Люди связывают новую информацию с прежним опытом, пересматривают убеждения, оценивают последствия решений и применяют знания в ситуациях, которые сильно отличаются от учебного задания. Компьютерный тест не измеряет весь комплекс этих процессов.
С чтением возникает похожая разница. Программа способна обработать стихотворение , определить тему, найти рифму, разобрать структуру и подготовить подробный анализ. Человек может читать то же произведение ради другого человека, который его написал. На восприятие влияют биография автора, историческая эпоха, переживания, интонация и понимание причин, по которым текст появился.
Если оценивать письмо, чтение и творчество только по конечному результату, различия постепенно исчезают из разговора. Нейросеть выдала связный абзац, значит «написала». Ответила правильно, значит «знает». Решила сложную задачу, значит «поняла». Слова незаметно превращают вычислительный инструмент в предполагаемого соперника человека и одновременно упрощают представление о самих человеческих способностях.
История вычислительной техники показывает, что споры о роли компьютеров раньше охватывали гораздо больше областей. В середине XX века обсуждать возможности и границы машин пытались инженеры, математики, психологи, историки и специалисты по литературе. У общества ещё не было готового ответа, какие решения можно доверять компьютерам, кто должен контролировать вычислительные системы и какое место техника должна занимать в повседневной жизни.
Современные системы сделали старые вопросы заметно острее. Алгоритмы и математические методы требуют точных определений, тогда как повседневный язык допускает несколько значений одного слова. Специалист может использовать термин в узком профессиональном смысле, а человек со стороны прочитает ту же фразу совсем иначе.
Поэтому формулировки напрямую влияют на восприятие возможностей ИИ. Слово «обучение» может обозначать математическую настройку параметров модели, но в обычной речи связано с приобретением знаний человеком. «Понимание» может означать успешную обработку запроса, хотя для людей включает осмысление содержания и контекста. «Мышление» нередко используют для обозначения последовательности вычислительных операций, хотя человеческое мышление связано с гораздо более широким набором когнитивных процессов.
Авторы исследования не предлагают принижать возможности современных моделей. Они предлагают точнее называть наблюдаемые действия. Нейросеть генерирует текст, классифицирует данные, выбирает ответы, строит изображения и выполняет инструкции. Такой язык позволяет обсуждать реальные способности систем без автоматического переноса на компьютер свойств человеческого сознания.
- Источник новости
- www.securitylab.ru
