- 28,361
- 46
- 8 Ноя 2022
Попытки автоматизировать задачи обходятся корпорациям слишком дорого.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Гендиректора компаний обычно хвалят продукты, которые сами создают, но глава Microsoft неожиданно предупредил бизнес держаться подальше от одной особенности современных нейросетей — той самой, на которой построена его собственная компания.
Сатья Наделла в личном посте в социальной сети X заявил , что компании, покупающие доступ к языковым моделям, расплачиваются дважды. Сначала деньгами за подписку, а затем — куда более ценным активом: собственными бизнес-данными, которые приходится скармливать нейросети, чтобы получить от неё пользу.
Наделла назвал это «парадоксом обратной информации». Суть в том, что модель со временем узнаёт о компании-клиенте всё больше, а сама компания почти ничего не узнаёт о том, что происходит на стороне разработчика. По его словам, нейросети обучаются не только на явных данных, но и на «выхлопе» — запросах сотрудников, действиях агентов и особенно на исправлениях, которые люди вносят в ответы модели. Такие сведения утекают почти незаметно, накапливаясь с каждой правкой.
Ирония ситуации в том, что сама Microsoft годами продвигала облачные ИИ-сервисы, собирающие данные о бизнесе клиентов, и вложила миллиарды в OpenAI на заре развития генеративных нейросетей. При этом ещё в 2024 году сервис Copilot столкнулся с похожей проблемой: часть крупных организаций приостановила его использование из-за слишком широких прав доступа к внутренним данным в SharePoint и Microsoft 365, из-за чего ассистент мог случайно открыть доступ к чувствительной информации.
Решение Наделла видит в создании внутри компаний собственной изолированной инфраструктуры для работы с ИИ — так называемой границы доверия, через которую не должны просачиваться никакие данные без согласия владельца. Он предложил бизнесу строить собственные среды обучения моделей, независимые системы оценки, сохранять права на данные об использовании ИИ и результаты его работы, а также отделять программную оболочку для работы с моделью от самой модели, чтобы её можно было менять без потери накопленных знаний.
По мнению Наделлы, проблема не решается одним лишь грамотным управлением данными и носит структурный характер: под угрозой оказывается любая компания, использующая ИИ через сторонние сервисы. При этом в компании прямо назвали Copilot и Azure AI Foundry готовым решением описанной проблемы, хотя оба сервиса остаются облачными и работают по той же модели, которую сам Наделла раскритиковал.
Опасаясь утечки данных через нейросети, компаниям стоит ограничивать объём внутренних данных, передаваемых сторонним ИИ-сервисам, разграничивать права доступа ассистентов к корпоративным системам и по возможности хранить историю запросов и правок отдельно от инфраструктуры поставщика модели.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Гендиректора компаний обычно хвалят продукты, которые сами создают, но глава Microsoft неожиданно предупредил бизнес держаться подальше от одной особенности современных нейросетей — той самой, на которой построена его собственная компания.
Сатья Наделла в личном посте в социальной сети X заявил , что компании, покупающие доступ к языковым моделям, расплачиваются дважды. Сначала деньгами за подписку, а затем — куда более ценным активом: собственными бизнес-данными, которые приходится скармливать нейросети, чтобы получить от неё пользу.
Наделла назвал это «парадоксом обратной информации». Суть в том, что модель со временем узнаёт о компании-клиенте всё больше, а сама компания почти ничего не узнаёт о том, что происходит на стороне разработчика. По его словам, нейросети обучаются не только на явных данных, но и на «выхлопе» — запросах сотрудников, действиях агентов и особенно на исправлениях, которые люди вносят в ответы модели. Такие сведения утекают почти незаметно, накапливаясь с каждой правкой.
Ирония ситуации в том, что сама Microsoft годами продвигала облачные ИИ-сервисы, собирающие данные о бизнесе клиентов, и вложила миллиарды в OpenAI на заре развития генеративных нейросетей. При этом ещё в 2024 году сервис Copilot столкнулся с похожей проблемой: часть крупных организаций приостановила его использование из-за слишком широких прав доступа к внутренним данным в SharePoint и Microsoft 365, из-за чего ассистент мог случайно открыть доступ к чувствительной информации.
Решение Наделла видит в создании внутри компаний собственной изолированной инфраструктуры для работы с ИИ — так называемой границы доверия, через которую не должны просачиваться никакие данные без согласия владельца. Он предложил бизнесу строить собственные среды обучения моделей, независимые системы оценки, сохранять права на данные об использовании ИИ и результаты его работы, а также отделять программную оболочку для работы с моделью от самой модели, чтобы её можно было менять без потери накопленных знаний.
По мнению Наделлы, проблема не решается одним лишь грамотным управлением данными и носит структурный характер: под угрозой оказывается любая компания, использующая ИИ через сторонние сервисы. При этом в компании прямо назвали Copilot и Azure AI Foundry готовым решением описанной проблемы, хотя оба сервиса остаются облачными и работают по той же модели, которую сам Наделла раскритиковал.
Опасаясь утечки данных через нейросети, компаниям стоит ограничивать объём внутренних данных, передаваемых сторонним ИИ-сервисам, разграничивать права доступа ассистентов к корпоративным системам и по возможности хранить историю запросов и правок отдельно от инфраструктуры поставщика модели.
- Источник новости
- www.securitylab.ru
