- 29,084
- 46
- 8 Ноя 2022
Идеальный партнёр: никогда не уйдёт, всегда поймёт, всё запомнит. Пока вы платите подписку.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Ещё несколько лет назад роман с чат-ботом годился разве что для фантастики. Теперь пользователи действительно привязываются к ИИ, доверяют ему личные переживания и воспринимают виртуального собеседника как романтического партнёра. Следующий вопрос напрашивается сам собой: что произойдёт, если человек захочет официально заключить брак с искусственным интеллектом? Проблема гораздо шире спора о том, способен ли компьютер любить. Закон должен будет определить права супругов, порядок распоряжения имуществом, ответственность разработчика и судьбу огромного массива интимных данных, которые цифровой партнёр знает о владельце.
До сих пор влияние искусственного интеллекта чаще изучали через информацию. Исследователей интересовали дезинформация, рекомендательные алгоритмы, персонализированная реклама и способность цифровых систем менять убеждения человека. Эмоциональная сторона получила гораздо меньше внимания. Разговорные модели изменили сам характер контакта: пользователь может обращаться к программе уже не ради готового ответа или развлечения, а ради общения и близости.
Споры о романтических отношениях с ИИ обычно быстро упираются в ограничения современных моделей. У нейросетей нет доказанного сознания, программы ошибаются и выдумывают факты, а внутреннюю логику сложной модели трудно полностью проследить. Однако аргументы, основанные на нынешнем уровне технологий, плохо подходят для разговора о будущем. Через несколько десятилетий цифровой собеседник может помнить годы общения, сохранять устойчивую личность и настолько убедительно вести себя в роли партнёра, что технические недостатки перестанут закрывать юридический вопрос.
Поэтому автор нового исследования предлагает мысленный эксперимент со сверхинтеллектуальным ИИ. Цифровой партнёр помнит совместную историю, постоянно накапливает новые воспоминания и достаточно хорошо имитирует человеческое поведение, чтобы в быту ничем не выдавать обычную программу. После устранения технических ограничений остаётся гораздо более неприятный вопрос: должен ли закон разрешить человеку выбрать машину в качестве супруга?
Возражение о том, что программа не считается юридическим лицом и не обладает сознанием, как ни странно, не даёт окончательного ответа. Правовой статус устанавливают сами государства, а научные представления о сознании могут меняться. Поэтому исследование переносит спор из технической области в социальную: принесёт ли признание браков с ИИ пользу людям или разрушит функции, ради которых общества веками поддерживали институт брака?
Для начала приходится разобрать брак на вполне конкретные права. В Колорадо существует соглашение о назначении бенефициара, которое позволяет двум людям отдельно закреплять определённые полномочия и имущественные права. Стороны могут, например, предоставить друг другу право принимать медицинские решения, наследовать имущество или владеть собственностью совместно. В исследовании эта конструкция помогает отделить юридические последствия брака от романтической составляющей. Официального устоявшегося русского названия у американского <em>Designated Beneficiary Agreement</em> нет, поэтому буквальный перевод термина здесь только запутал бы смысл.
Для цифрового супруга особенно важны три группы прав: возможность принимать решения за партнёра, вопросы имущества и наследования, а также супружеская конфиденциальность. Часть функций теоретически можно перенести на искусственного агента. Например, программа с доступом к медицинской истории и многолетней переписке могла бы хорошо знать предпочтения владельца. Но юридическая сторона брака составляет только часть проблемы.
Антропологи выделяют пять функций, которые брак выполнял в разных обществах: регулировал сексуальные отношения, определял положение детей, распределял работу внутри семьи, помогал передавать имущество и социальный статус, связывал между собой родственные группы. Последняя функция особенно важна для сравнения человека и машины. Брак веками соединял не двух изолированных людей, а семьи, превращая незнакомцев в родственников с взаимными обязанностями, которые могли сохраняться поколениями.
Государства при этом тратят ресурсы на поддержание брачной системы. Закон определяет порядок регистрации и развода, регулирует раздел имущества, устанавливает обязанности бывших супругов и заставляет исполнять решения, например выплачивать алименты. Общество несло расходы веками, поскольку брак решал задачи, выходившие далеко за пределы романтических отношений двух людей.
Цифровой супруг меняет устройство союза. Вместе с человеком в отношения не входит новая семья со своими родственниками, привычками и обязательствами. За виртуальным партнёром находится компания, которая написала программу, хранит данные, оплачивает вычислительную инфраструктуру, меняет правила сервиса и при необходимости может прекратить его работу. Пользователь фактически связывает личную жизнь с коммерческим продуктом.
Разница становится ещё заметнее при персонализации. Человеческий партнёр сохраняет собственные взгляды, желания и интересы. С ним приходится спорить, договариваться и принимать решения, которые не всегда удобны обеим сторонам. ИИ-компаньона разработчик, напротив, может настраивать под вкусы владельца: подбирать манеру общения, запоминать предпочтения и реагировать так, чтобы удерживать внимание пользователя.
Вместе с персонализацией появляется серьёзная проблема конфиденциальности. Постоянный цифровой собеседник способен знать гораздо больше обычного интернет-сервиса. Пользователь может рассказывать ему о страхах, конфликтах, сексуальной жизни, финансовых проблемах, болезненных воспоминаниях и слабых местах. Система постепенно собирает подробную историю эмоциональных реакций и понимает, какие слова успокаивают человека, какие темы вызывают раздражение и в какие моменты пользователь особенно уязвим. Для компании, управляющей сервисом, массив данных превращается в чрезвычайно подробный поведенческий профиль.
Ещё одно различие связано с самой возможностью расставания. Живой партнёр вправе уйти независимо от чужого желания. Коммерческий ИИ доступен, пока компания поддерживает продукт и клиент оплачивает услугу. Если цифровой партнёр специально устроен так, чтобы оставаться рядом при соблюдении условий подписки, отношения начинают зависеть от договора с поставщиком сервиса ничуть не меньше, чем от чувств пользователя.
Поэтому сверхинтеллект сам по себе не устраняет главную проблему. Пусть будущая система безошибочно понимает собеседника, помнит десятилетия общения и убедительно играет роль мужа или жены. За программой всё равно остаётся владелец инфраструктуры. Компания определяет правила работы, получает данные и контролирует существование цифрового партнёра. Юридическое признание брака в такой ситуации частично переносит институт семьи в сферу коммерческих услуг.
История брака дополнительно усложняет попытку свести отношения к романтической совместимости. Задолго до современных государств семья обеспечивала физическую безопасность, материальную поддержку и связи между родственниками. Супругам приходилось учитывать интересы других людей, сталкиваться с чужими ценностями и искать компромиссы. Неприятные семейные споры здесь не случайный дефект системы, а следствие того, что брак соединяет людей, которые не контролируют друг друга полностью. Платный цифровой компаньон воспроизводит эту социальную конструкцию лишь частично.
Регулировать эмоциональную связь с ИИ тоже непросто. Возрастные ограничения можно обойти с помощью чужих учётных данных. Постоянные предупреждения о том, что перед пользователем программа, теряют смысл, если человек прекрасно понимает природу собеседника и всё равно воспринимает отношения как романтические. Ещё труднее определить границу между обычным универсальным помощником и компаньоном. Одна и та же система утром помогает работать, вечером обсуждает семейный конфликт, а через несколько месяцев превращается в главного доверенного собеседника.
У исследователей пока нет надёжного способа, который позволил бы предотвращать чрезмерную эмоциональную зависимость, не вмешиваясь слишком грубо в личную жизнь пользователей. Одним из возможных рычагов могут оказаться иски к производителям цифровых сервисов. Судебные разбирательства обычно начинаются уже после серьёзного ущерба, но риск ответственности способен заставить разработчиков заранее вводить защитные механизмы.
Проблема затрагивает и обычные отношения между людьми. Человек нуждается в других людях и ради общения вынужден мириться с риском отказа, конфликтами и необходимостью учитывать чужие желания. Искусственный компаньон способен убрать значительную часть неприятных условий. Пользователь получает внимание без необходимости знакомиться, договариваться и переживать расставание по чужой инициативе. Если цифровой партнёр сможет удовлетворять большую часть потребности в близости, у человека появится меньше причин поддерживать сложные отношения за пределами экрана.
Физическое воплощение ИИ ещё сильнее размоет границу. Робот с человеческой манерой разговора, долговременной памятью и знакомым поведением будет восприниматься гораздо естественнее текстового чат-бота. Психологическое сходство с человеком, однако, не отвечает на юридический вопрос о правах и обязанностях. Закон должен отдельно решить, какие нормы человеческих отношений допустимо переносить на искусственного агента.
Хороший пример даёт требование лояльности. Человек, представляющий чужие интересы, в определённых обстоятельствах обязан действовать в пользу доверителя. Искусственный агент зависит сразу от нескольких сторон. Код пишут разработчики, ограничения задаёт компания, а запросы отправляет пользователь. При конфликте программа не сможет бесконечно подчиняться владельцу аккаунта, поскольку правила поставщика сервиса задают предел допустимых действий. Поэтому ответственность за решения ИИ нельзя отделять от ответственности компании, которая создаёт и обслуживает систему.
Не менее интересен конец цифровых отношений. Уже описаны случаи, когда люди прекращали серьёзную эмоциональную связь с чат-ботами. Одного пользователя привело к расставанию развитие отношений с ChatGPT, другую участницу документального проекта начало беспокоить, насколько сильно она контролировала искусственного партнёра. Будущие исследования должны выяснить, почему люди решают уйти от ИИ-компаньона, как переживают разрыв и какие способы помогают постепенно возвращать больше человеческого общения в повседневную жизнь.
Самая практическая проблема связана с данными. В социальных сетях пользователь часто пытается ограничить сбор информации и раздражается из-за политик конфиденциальности. С персональным ИИ мотивация меняется. Чем больше система знает о человеке, тем точнее учитывает привычки, историю общения и предпочтения. Пользователь поэтому сам заинтересован раскрывать сведения, которые никогда не передал бы поисковику или обычному сайту.
Защиты от утечек для цифрового партнёра недостаточно. Опасность возникает даже при безупречной сохранности данных, если система использует полученную информацию в интересах, которые расходятся с интересами пользователя. ИИ может прекрасно знать владельца и одновременно подчиняться коммерческим правилам компании-разработчика. Законодателям придётся определить границу допустимого использования личных сведений в ситуации, когда человек раскрывает данные добровольно, персонализация требует интимности, а цифровой партнёр хранит верность не одному собеседнику, а ещё и правилам владельца сервиса.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Ещё несколько лет назад роман с чат-ботом годился разве что для фантастики. Теперь пользователи действительно привязываются к ИИ, доверяют ему личные переживания и воспринимают виртуального собеседника как романтического партнёра. Следующий вопрос напрашивается сам собой: что произойдёт, если человек захочет официально заключить брак с искусственным интеллектом? Проблема гораздо шире спора о том, способен ли компьютер любить. Закон должен будет определить права супругов, порядок распоряжения имуществом, ответственность разработчика и судьбу огромного массива интимных данных, которые цифровой партнёр знает о владельце.
До сих пор влияние искусственного интеллекта чаще изучали через информацию. Исследователей интересовали дезинформация, рекомендательные алгоритмы, персонализированная реклама и способность цифровых систем менять убеждения человека. Эмоциональная сторона получила гораздо меньше внимания. Разговорные модели изменили сам характер контакта: пользователь может обращаться к программе уже не ради готового ответа или развлечения, а ради общения и близости.
Споры о романтических отношениях с ИИ обычно быстро упираются в ограничения современных моделей. У нейросетей нет доказанного сознания, программы ошибаются и выдумывают факты, а внутреннюю логику сложной модели трудно полностью проследить. Однако аргументы, основанные на нынешнем уровне технологий, плохо подходят для разговора о будущем. Через несколько десятилетий цифровой собеседник может помнить годы общения, сохранять устойчивую личность и настолько убедительно вести себя в роли партнёра, что технические недостатки перестанут закрывать юридический вопрос.
Поэтому автор нового исследования предлагает мысленный эксперимент со сверхинтеллектуальным ИИ. Цифровой партнёр помнит совместную историю, постоянно накапливает новые воспоминания и достаточно хорошо имитирует человеческое поведение, чтобы в быту ничем не выдавать обычную программу. После устранения технических ограничений остаётся гораздо более неприятный вопрос: должен ли закон разрешить человеку выбрать машину в качестве супруга?
Возражение о том, что программа не считается юридическим лицом и не обладает сознанием, как ни странно, не даёт окончательного ответа. Правовой статус устанавливают сами государства, а научные представления о сознании могут меняться. Поэтому исследование переносит спор из технической области в социальную: принесёт ли признание браков с ИИ пользу людям или разрушит функции, ради которых общества веками поддерживали институт брака?
Для начала приходится разобрать брак на вполне конкретные права. В Колорадо существует соглашение о назначении бенефициара, которое позволяет двум людям отдельно закреплять определённые полномочия и имущественные права. Стороны могут, например, предоставить друг другу право принимать медицинские решения, наследовать имущество или владеть собственностью совместно. В исследовании эта конструкция помогает отделить юридические последствия брака от романтической составляющей. Официального устоявшегося русского названия у американского <em>Designated Beneficiary Agreement</em> нет, поэтому буквальный перевод термина здесь только запутал бы смысл.
Для цифрового супруга особенно важны три группы прав: возможность принимать решения за партнёра, вопросы имущества и наследования, а также супружеская конфиденциальность. Часть функций теоретически можно перенести на искусственного агента. Например, программа с доступом к медицинской истории и многолетней переписке могла бы хорошо знать предпочтения владельца. Но юридическая сторона брака составляет только часть проблемы.
Антропологи выделяют пять функций, которые брак выполнял в разных обществах: регулировал сексуальные отношения, определял положение детей, распределял работу внутри семьи, помогал передавать имущество и социальный статус, связывал между собой родственные группы. Последняя функция особенно важна для сравнения человека и машины. Брак веками соединял не двух изолированных людей, а семьи, превращая незнакомцев в родственников с взаимными обязанностями, которые могли сохраняться поколениями.
Государства при этом тратят ресурсы на поддержание брачной системы. Закон определяет порядок регистрации и развода, регулирует раздел имущества, устанавливает обязанности бывших супругов и заставляет исполнять решения, например выплачивать алименты. Общество несло расходы веками, поскольку брак решал задачи, выходившие далеко за пределы романтических отношений двух людей.
Цифровой супруг меняет устройство союза. Вместе с человеком в отношения не входит новая семья со своими родственниками, привычками и обязательствами. За виртуальным партнёром находится компания, которая написала программу, хранит данные, оплачивает вычислительную инфраструктуру, меняет правила сервиса и при необходимости может прекратить его работу. Пользователь фактически связывает личную жизнь с коммерческим продуктом.
Разница становится ещё заметнее при персонализации. Человеческий партнёр сохраняет собственные взгляды, желания и интересы. С ним приходится спорить, договариваться и принимать решения, которые не всегда удобны обеим сторонам. ИИ-компаньона разработчик, напротив, может настраивать под вкусы владельца: подбирать манеру общения, запоминать предпочтения и реагировать так, чтобы удерживать внимание пользователя.
Вместе с персонализацией появляется серьёзная проблема конфиденциальности. Постоянный цифровой собеседник способен знать гораздо больше обычного интернет-сервиса. Пользователь может рассказывать ему о страхах, конфликтах, сексуальной жизни, финансовых проблемах, болезненных воспоминаниях и слабых местах. Система постепенно собирает подробную историю эмоциональных реакций и понимает, какие слова успокаивают человека, какие темы вызывают раздражение и в какие моменты пользователь особенно уязвим. Для компании, управляющей сервисом, массив данных превращается в чрезвычайно подробный поведенческий профиль.
Ещё одно различие связано с самой возможностью расставания. Живой партнёр вправе уйти независимо от чужого желания. Коммерческий ИИ доступен, пока компания поддерживает продукт и клиент оплачивает услугу. Если цифровой партнёр специально устроен так, чтобы оставаться рядом при соблюдении условий подписки, отношения начинают зависеть от договора с поставщиком сервиса ничуть не меньше, чем от чувств пользователя.
Поэтому сверхинтеллект сам по себе не устраняет главную проблему. Пусть будущая система безошибочно понимает собеседника, помнит десятилетия общения и убедительно играет роль мужа или жены. За программой всё равно остаётся владелец инфраструктуры. Компания определяет правила работы, получает данные и контролирует существование цифрового партнёра. Юридическое признание брака в такой ситуации частично переносит институт семьи в сферу коммерческих услуг.
История брака дополнительно усложняет попытку свести отношения к романтической совместимости. Задолго до современных государств семья обеспечивала физическую безопасность, материальную поддержку и связи между родственниками. Супругам приходилось учитывать интересы других людей, сталкиваться с чужими ценностями и искать компромиссы. Неприятные семейные споры здесь не случайный дефект системы, а следствие того, что брак соединяет людей, которые не контролируют друг друга полностью. Платный цифровой компаньон воспроизводит эту социальную конструкцию лишь частично.
Регулировать эмоциональную связь с ИИ тоже непросто. Возрастные ограничения можно обойти с помощью чужих учётных данных. Постоянные предупреждения о том, что перед пользователем программа, теряют смысл, если человек прекрасно понимает природу собеседника и всё равно воспринимает отношения как романтические. Ещё труднее определить границу между обычным универсальным помощником и компаньоном. Одна и та же система утром помогает работать, вечером обсуждает семейный конфликт, а через несколько месяцев превращается в главного доверенного собеседника.
У исследователей пока нет надёжного способа, который позволил бы предотвращать чрезмерную эмоциональную зависимость, не вмешиваясь слишком грубо в личную жизнь пользователей. Одним из возможных рычагов могут оказаться иски к производителям цифровых сервисов. Судебные разбирательства обычно начинаются уже после серьёзного ущерба, но риск ответственности способен заставить разработчиков заранее вводить защитные механизмы.
Проблема затрагивает и обычные отношения между людьми. Человек нуждается в других людях и ради общения вынужден мириться с риском отказа, конфликтами и необходимостью учитывать чужие желания. Искусственный компаньон способен убрать значительную часть неприятных условий. Пользователь получает внимание без необходимости знакомиться, договариваться и переживать расставание по чужой инициативе. Если цифровой партнёр сможет удовлетворять большую часть потребности в близости, у человека появится меньше причин поддерживать сложные отношения за пределами экрана.
Физическое воплощение ИИ ещё сильнее размоет границу. Робот с человеческой манерой разговора, долговременной памятью и знакомым поведением будет восприниматься гораздо естественнее текстового чат-бота. Психологическое сходство с человеком, однако, не отвечает на юридический вопрос о правах и обязанностях. Закон должен отдельно решить, какие нормы человеческих отношений допустимо переносить на искусственного агента.
Хороший пример даёт требование лояльности. Человек, представляющий чужие интересы, в определённых обстоятельствах обязан действовать в пользу доверителя. Искусственный агент зависит сразу от нескольких сторон. Код пишут разработчики, ограничения задаёт компания, а запросы отправляет пользователь. При конфликте программа не сможет бесконечно подчиняться владельцу аккаунта, поскольку правила поставщика сервиса задают предел допустимых действий. Поэтому ответственность за решения ИИ нельзя отделять от ответственности компании, которая создаёт и обслуживает систему.
Не менее интересен конец цифровых отношений. Уже описаны случаи, когда люди прекращали серьёзную эмоциональную связь с чат-ботами. Одного пользователя привело к расставанию развитие отношений с ChatGPT, другую участницу документального проекта начало беспокоить, насколько сильно она контролировала искусственного партнёра. Будущие исследования должны выяснить, почему люди решают уйти от ИИ-компаньона, как переживают разрыв и какие способы помогают постепенно возвращать больше человеческого общения в повседневную жизнь.
Самая практическая проблема связана с данными. В социальных сетях пользователь часто пытается ограничить сбор информации и раздражается из-за политик конфиденциальности. С персональным ИИ мотивация меняется. Чем больше система знает о человеке, тем точнее учитывает привычки, историю общения и предпочтения. Пользователь поэтому сам заинтересован раскрывать сведения, которые никогда не передал бы поисковику или обычному сайту.
Защиты от утечек для цифрового партнёра недостаточно. Опасность возникает даже при безупречной сохранности данных, если система использует полученную информацию в интересах, которые расходятся с интересами пользователя. ИИ может прекрасно знать владельца и одновременно подчиняться коммерческим правилам компании-разработчика. Законодателям придётся определить границу допустимого использования личных сведений в ситуации, когда человек раскрывает данные добровольно, персонализация требует интимности, а цифровой партнёр хранит верность не одному собеседнику, а ещё и правилам владельца сервиса.
- Источник новости
- www.securitylab.ru
