- 28,211
- 46
- 8 Ноя 2022
Лечение не помогает? Ну и что, машине ведь виднее.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Врачи продолжали доверять рекомендациям искусственного интеллекта даже после того, как результаты лечения начали им противоречить. В одном из экспериментов большинство участников не заметило, что предложенная терапия вообще не приносила пользы.
В исследовании участвовали 223 врача, которые анонимно проходили серию онлайн-экспериментов. Всем предложили представить, что они лечат пациентов с редким заболеванием и могут назначить экспериментальную терапию, эффективность которой пока не подтверждена.
Перед принятием решения участники получали рекомендации от ИИ-системы . Алгоритм распределял пациентов по двум группам, оценивая, кому лечение должно помочь с большей вероятностью. После этого врачи выбирали, кому назначить терапию, а затем знакомились с результатами лечения и оценивали, насколько надежными оказались рекомендации алгоритма.
Подобные системы уже используют или тестируют в медицине для оценки риска осложнений, выбора тактики лечения и определения пациентов, которым требуется более пристальное наблюдение. При этом алгоритм считается лишь вспомогательным инструментом, а окончательное решение должен принимать врач.
Чтобы проверить, насколько специалисты готовы пересматривать мнение после появления новых данных, исследователи специально сделали так, чтобы прогнозы ИИ не совпадали с реальными результатами лечения.
В первой серии экспериментов терапия давала одинаковый умеренный эффект всем пациентам. Несмотря на это, рекомендации алгоритма создавали впечатление, будто часть людей получает от лечения больше пользы, чем остальные. Во втором эксперименте лечение оказалось полностью бесполезным. Ни одна из групп не показала улучшений, однако большинство участников не сделало вывод, что терапия не работает вовсе.
Даже после знакомства с результатами лечения врачи продолжали считать ИИ достаточно надежным источником рекомендаций. Врачи с трудом меняли первоначальное мнение, если новые данные расходились с выводами алгоритма. Авторы связывают такой эффект с "автоматизационным смещением" (так приблизительно можно перевести термин с английского). Имеется в виду склонность человека чрезмерно доверять автоматическим системам, особенно когда их выводы выглядят объективными и основанными на вычислениях. В подобных ситуациях люди реже ищут ошибки и легче игнорируют информацию, которая противоречит рекомендации алгоритма.
Медицинский опыт не помог. Даже имея возможность сравнить прогноз ИИ с фактическими результатами лечения, многие продолжали опираться на первоначальную подсказку. Исследование показывает, что присутствие врача в цепочке принятия решений само по себе еще не гарантирует обнаружения ошибки алгоритма.
Такой вывод особенно важен для систем, которые помогают выбирать лечение или определять приоритет пациентов. Если алгоритм ошибочно оценит вероятность успеха терапии, врач может отказаться от эффективного варианта лечения или, наоборот, назначить вмешательство, которое не принесет пользы.
Исследование проводилось не в клинике, а в моделируемых условиях. Врачи принимали решения по вымышленным случаям, а заболевание, лечение и результаты были частью экспериментального сценария. Зато можно точно контролировать все условия и заранее знать, где именно ошибается алгоритм.
Авторы считают, что для внедрения подобных систем недостаточно просто предупреждать о возможных ошибках. Необходимы процедуры, которые заставят отдельно оценивать рекомендации алгоритма и реальные результаты лечения. Среди возможных решений исследователи называют независимую оценку случая до просмотра подсказки ИИ, обязательное объяснение причин согласия с рекомендацией и регулярный разбор ситуаций, когда прогнозы алгоритма не подтвердились.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Врачи продолжали доверять рекомендациям искусственного интеллекта даже после того, как результаты лечения начали им противоречить. В одном из экспериментов большинство участников не заметило, что предложенная терапия вообще не приносила пользы.
В исследовании участвовали 223 врача, которые анонимно проходили серию онлайн-экспериментов. Всем предложили представить, что они лечат пациентов с редким заболеванием и могут назначить экспериментальную терапию, эффективность которой пока не подтверждена.
Перед принятием решения участники получали рекомендации от ИИ-системы . Алгоритм распределял пациентов по двум группам, оценивая, кому лечение должно помочь с большей вероятностью. После этого врачи выбирали, кому назначить терапию, а затем знакомились с результатами лечения и оценивали, насколько надежными оказались рекомендации алгоритма.
Подобные системы уже используют или тестируют в медицине для оценки риска осложнений, выбора тактики лечения и определения пациентов, которым требуется более пристальное наблюдение. При этом алгоритм считается лишь вспомогательным инструментом, а окончательное решение должен принимать врач.
Чтобы проверить, насколько специалисты готовы пересматривать мнение после появления новых данных, исследователи специально сделали так, чтобы прогнозы ИИ не совпадали с реальными результатами лечения.
В первой серии экспериментов терапия давала одинаковый умеренный эффект всем пациентам. Несмотря на это, рекомендации алгоритма создавали впечатление, будто часть людей получает от лечения больше пользы, чем остальные. Во втором эксперименте лечение оказалось полностью бесполезным. Ни одна из групп не показала улучшений, однако большинство участников не сделало вывод, что терапия не работает вовсе.
Даже после знакомства с результатами лечения врачи продолжали считать ИИ достаточно надежным источником рекомендаций. Врачи с трудом меняли первоначальное мнение, если новые данные расходились с выводами алгоритма. Авторы связывают такой эффект с "автоматизационным смещением" (так приблизительно можно перевести термин с английского). Имеется в виду склонность человека чрезмерно доверять автоматическим системам, особенно когда их выводы выглядят объективными и основанными на вычислениях. В подобных ситуациях люди реже ищут ошибки и легче игнорируют информацию, которая противоречит рекомендации алгоритма.
Медицинский опыт не помог. Даже имея возможность сравнить прогноз ИИ с фактическими результатами лечения, многие продолжали опираться на первоначальную подсказку. Исследование показывает, что присутствие врача в цепочке принятия решений само по себе еще не гарантирует обнаружения ошибки алгоритма.
Такой вывод особенно важен для систем, которые помогают выбирать лечение или определять приоритет пациентов. Если алгоритм ошибочно оценит вероятность успеха терапии, врач может отказаться от эффективного варианта лечения или, наоборот, назначить вмешательство, которое не принесет пользы.
Исследование проводилось не в клинике, а в моделируемых условиях. Врачи принимали решения по вымышленным случаям, а заболевание, лечение и результаты были частью экспериментального сценария. Зато можно точно контролировать все условия и заранее знать, где именно ошибается алгоритм.
Авторы считают, что для внедрения подобных систем недостаточно просто предупреждать о возможных ошибках. Необходимы процедуры, которые заставят отдельно оценивать рекомендации алгоритма и реальные результаты лечения. Среди возможных решений исследователи называют независимую оценку случая до просмотра подсказки ИИ, обязательное объяснение причин согласия с рекомендацией и регулярный разбор ситуаций, когда прогнозы алгоритма не подтвердились.
- Источник новости
- www.securitylab.ru
