- 28,476
- 46
- 8 Ноя 2022
Участники научного эксперимента практически перестали выбирать вариант «я не знаю».
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody"> ИИ всё чаще подсказывает готовый ответ там, где человеку раньше пришлось бы признать нехватку знаний, и, как недавно выяснилось, такая помощь может снижать достоверность выводов. Специалисты из университетов Франции и Италии выяснили , что доступ к советам языковой модели заставляет людей реже отвечать «не знаю», даже когда ИИ предлагает ошибочный ответ.
Участникам предложили вопросы о малозаметных деталях из фильмов, которые редко встречаются в обучающих данных. Одной группе пришлось отвечать самостоятельно, а другая могла обратиться к модели Step 3.5 Flash. Авторы специально выбрали ИИ-систему, которая чаще ошибалась на таких заданиях, чтобы проверить реакцию людей на ненадёжные подсказки.
Без помощи ИИ 44% участников признали, что не знают ответа. Но после появления подсказок доля таких ответов упала до 3%. Одновременно снизилась и корректность таких ответов. В первой группе правильно ответили 27% участников, а во второй только 9%. Некоторые люди сначала могли выбрать верный вариант, но меняли решение после ошибочного совета модели.
Уверенность при этом росла в противоположном направлении. Без ИИ правильность своего ответа высоко оценивали 30% участников, а с подсказками уже 76%. Таким образом, доступ к модели не только ухудшал результат, но и создавал у людей ложное ощущение надёжности ответа.
Денежное вознаграждение за точность немного смягчило эффект. Доля ответов «не знаю» выросла с 3% до 8%, а правильных ответов с 9% до 16%. Оба показателя всё равно оставались заметно ниже результатов группы, которая работала без ИИ.
Авторы считают, что проблема не ограничивается вопросами о кино. Постоянный доступ к готовым ответам может мешать людям оценивать границы собственных знаний и сохранять критическое отношение к подсказкам.
Снизить риск, по мнению специалистов, поможет обучение работе с ИИ, при котором ответы моделей проверяют, а признание неопределённости считают нормальной частью рассуждения.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody"> ИИ всё чаще подсказывает готовый ответ там, где человеку раньше пришлось бы признать нехватку знаний, и, как недавно выяснилось, такая помощь может снижать достоверность выводов. Специалисты из университетов Франции и Италии выяснили , что доступ к советам языковой модели заставляет людей реже отвечать «не знаю», даже когда ИИ предлагает ошибочный ответ.
Участникам предложили вопросы о малозаметных деталях из фильмов, которые редко встречаются в обучающих данных. Одной группе пришлось отвечать самостоятельно, а другая могла обратиться к модели Step 3.5 Flash. Авторы специально выбрали ИИ-систему, которая чаще ошибалась на таких заданиях, чтобы проверить реакцию людей на ненадёжные подсказки.
Без помощи ИИ 44% участников признали, что не знают ответа. Но после появления подсказок доля таких ответов упала до 3%. Одновременно снизилась и корректность таких ответов. В первой группе правильно ответили 27% участников, а во второй только 9%. Некоторые люди сначала могли выбрать верный вариант, но меняли решение после ошибочного совета модели.
Уверенность при этом росла в противоположном направлении. Без ИИ правильность своего ответа высоко оценивали 30% участников, а с подсказками уже 76%. Таким образом, доступ к модели не только ухудшал результат, но и создавал у людей ложное ощущение надёжности ответа.
Денежное вознаграждение за точность немного смягчило эффект. Доля ответов «не знаю» выросла с 3% до 8%, а правильных ответов с 9% до 16%. Оба показателя всё равно оставались заметно ниже результатов группы, которая работала без ИИ.
Авторы считают, что проблема не ограничивается вопросами о кино. Постоянный доступ к готовым ответам может мешать людям оценивать границы собственных знаний и сохранять критическое отношение к подсказкам.
Снизить риск, по мнению специалистов, поможет обучение работе с ИИ, при котором ответы моделей проверяют, а признание неопределённости считают нормальной частью рассуждения.
- Источник новости
- www.securitylab.ru
