- 30,030
- 46
- 8 Ноя 2022
Даже удалённое имя не делает чат полностью анонимным.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Переписка с ChatGPT может попасть не только к алгоритму. Сотни внешних подрядчиков OpenAI читают реальные запросы и целые разговоры пользователей в рамках внутреннего проекта Project Lily . Люди оценивают ответы ChatGPT и помогают разработчикам менять поведение модели, а среди доступных материалов встречается чувствительная личная информация.
Подрядчики работают с очередью заданий, составленной из настоящих диалогов ChatGPT. После открытия задания специалист видит запрос пользователя, изучает контекст разговора, кратко формулирует цель запроса, а затем оценивает несколько вариантов ответа. В одной из используемых схем каждому варианту присваивают оценку от одного до семи и объясняют недостатки ответа.
Имя владельца аккаунта в интерфейсе рецензента не показывается. Однако удаление имени не делает разговор полностью анонимным. В тексте могут оставаться сведения о работе, здоровье, семье, местоположении и других обстоятельствах жизни. В некоторых заданиях рецензент также получает сводку памяти ChatGPT с информацией о предыдущих запросах пользователя и накопленном контексте.
Перед передачей переписки подрядчикам OpenAI пропускает текст через систему Privacy Filter, предназначенную для поиска и удаления персональных данных. Фильтр распознаёт имена, адреса, номера телефонов, электронную почту, номера счетов, пароли и другие идентификаторы. OpenAI признаёт, что автоматическая обработка не гарантирует полной очистки: необычные идентификаторы и неоднозначные личные сведения иногда остаются в тексте.
Работа Project Lily связана не только с поиском фактических ошибок. Подрядчики учат ChatGPT меньше соглашаться с пользователем ради одобрения, не поддерживать сомнительные выводы без оснований и не описывать модель как живого собеседника. Чрезмерное соглашательство уже становилось серьёзной проблемой для OpenAI и заставляло разработчиков пересматривать поведение моделей.
Человеческая проверка в Project Lily отличается от модерации опасных разговоров. OpenAI отдельно использует специалистов для разбора сообщений, связанных с возможным насилием, нарушениями правил и другими рисками. Project Lily предназначен для улучшения обычных ответов ChatGPT, поэтому в очередь могут попадать повседневные пользовательские разговоры без признаков нарушения правил.
Для такой работы OpenAI привлекает внешних исполнителей. В расследовании упоминаются посредники Crossing Hurdles и Mercor, через которых набирают специалистов для оценки ответов. Некоторые подрядчики получают более 50 долларов в час. Масштаб проекта показывает, насколько заметную роль человеческая разметка продолжает играть в развитии современных языковых моделей, несмотря на рост автоматизации обучения.
OpenAI официально предупреждает, что ограниченное число сотрудников компании и доверенных подрядчиков может получать доступ к пользовательскому контенту для улучшения моделей. Доступ ограничивают внутренними системами, а действия сотрудников журналируются. Компания также прямо рекомендует не вводить сведения, которые пользователь не хотел бы передавать на проверку другим людям. Такие правила описаны в документации по обработке данных .
В личных аккаунтах ChatGPT Free, Plus и Pro использование разговоров для улучшения моделей включено по умолчанию. Запретить применение новых разговоров для обучения можно в Settings → Data Controls, отключив Improve the model for everyone. Изменение действует на последующие разговоры и не отменяет использование информации, уже обработанной ранее. Временные чаты также не используются для обучения моделей и удаляются из систем OpenAI после установленного срока хранения.
OpenAI не единственная компания, использующая подобную схему. Anthropic подтвердила применение человеческой проверки для улучшения собственных моделей. Практика показывает, что разговор с чат-ботом не стоит воспринимать как полностью закрытый канал: даже при автоматическом удалении идентификаторов часть переписки при определённых настройках аккаунта может увидеть человек.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Переписка с ChatGPT может попасть не только к алгоритму. Сотни внешних подрядчиков OpenAI читают реальные запросы и целые разговоры пользователей в рамках внутреннего проекта Project Lily . Люди оценивают ответы ChatGPT и помогают разработчикам менять поведение модели, а среди доступных материалов встречается чувствительная личная информация.
Подрядчики работают с очередью заданий, составленной из настоящих диалогов ChatGPT. После открытия задания специалист видит запрос пользователя, изучает контекст разговора, кратко формулирует цель запроса, а затем оценивает несколько вариантов ответа. В одной из используемых схем каждому варианту присваивают оценку от одного до семи и объясняют недостатки ответа.
Имя владельца аккаунта в интерфейсе рецензента не показывается. Однако удаление имени не делает разговор полностью анонимным. В тексте могут оставаться сведения о работе, здоровье, семье, местоположении и других обстоятельствах жизни. В некоторых заданиях рецензент также получает сводку памяти ChatGPT с информацией о предыдущих запросах пользователя и накопленном контексте.
Перед передачей переписки подрядчикам OpenAI пропускает текст через систему Privacy Filter, предназначенную для поиска и удаления персональных данных. Фильтр распознаёт имена, адреса, номера телефонов, электронную почту, номера счетов, пароли и другие идентификаторы. OpenAI признаёт, что автоматическая обработка не гарантирует полной очистки: необычные идентификаторы и неоднозначные личные сведения иногда остаются в тексте.
Работа Project Lily связана не только с поиском фактических ошибок. Подрядчики учат ChatGPT меньше соглашаться с пользователем ради одобрения, не поддерживать сомнительные выводы без оснований и не описывать модель как живого собеседника. Чрезмерное соглашательство уже становилось серьёзной проблемой для OpenAI и заставляло разработчиков пересматривать поведение моделей.
Человеческая проверка в Project Lily отличается от модерации опасных разговоров. OpenAI отдельно использует специалистов для разбора сообщений, связанных с возможным насилием, нарушениями правил и другими рисками. Project Lily предназначен для улучшения обычных ответов ChatGPT, поэтому в очередь могут попадать повседневные пользовательские разговоры без признаков нарушения правил.
Для такой работы OpenAI привлекает внешних исполнителей. В расследовании упоминаются посредники Crossing Hurdles и Mercor, через которых набирают специалистов для оценки ответов. Некоторые подрядчики получают более 50 долларов в час. Масштаб проекта показывает, насколько заметную роль человеческая разметка продолжает играть в развитии современных языковых моделей, несмотря на рост автоматизации обучения.
OpenAI официально предупреждает, что ограниченное число сотрудников компании и доверенных подрядчиков может получать доступ к пользовательскому контенту для улучшения моделей. Доступ ограничивают внутренними системами, а действия сотрудников журналируются. Компания также прямо рекомендует не вводить сведения, которые пользователь не хотел бы передавать на проверку другим людям. Такие правила описаны в документации по обработке данных .
В личных аккаунтах ChatGPT Free, Plus и Pro использование разговоров для улучшения моделей включено по умолчанию. Запретить применение новых разговоров для обучения можно в Settings → Data Controls, отключив Improve the model for everyone. Изменение действует на последующие разговоры и не отменяет использование информации, уже обработанной ранее. Временные чаты также не используются для обучения моделей и удаляются из систем OpenAI после установленного срока хранения.
OpenAI не единственная компания, использующая подобную схему. Anthropic подтвердила применение человеческой проверки для улучшения собственных моделей. Практика показывает, что разговор с чат-ботом не стоит воспринимать как полностью закрытый канал: даже при автоматическом удалении идентификаторов часть переписки при определённых настройках аккаунта может увидеть человек.
- Источник новости
- www.securitylab.ru
