- 28,142
- 46
- 8 Ноя 2022
Цена автономных ИИ-агентов, о которой мы не задумываемся. А зря.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
ИИ-агенты могут сделать дата-центры гораздо прожорливее, чем обычные чат-боты. Исследователи впервые системно оценили , сколько вычислений и электричества требуют системы, которые не просто отвечают на вопрос, а сами планируют действия, вызывают внешние инструменты и шаг за шагом доводят задачу до результата. Разница оказалась внушительной: один запрос к ИИ-агенту может стоить до 136,5 раза больше энергии, чем обычная генерация ответа.
Работу представили в феврале на 32-м симпозиуме IEEE International Symposium on High Performance Computer Architecture. Командой руководил профессор Минсу Ру, первым автором стал аспирант Джиин Ким. Исследователи рассматривали ИИ-агентов не как отдельные программы, а как новый тип нагрузки для дата-центров , где запросы постоянно обрабатывают серверы и GPU.
Обычные приложения на больших языковых моделях вроде ChatGPT уже вышли за пределы простого диалога. Будущее - за агентными системами: они могут составлять план, обращаться к веб-поиску, калькулятору или среде выполнения кода, проверять промежуточные результаты и менять ход работы. Подход полезен в программировании, научных задачах и офисной автоматизации, но цена автономности до сих пор оставалась плохо измеренной.
Главный источник роста энергопотребления связан с повторными обращениями к языковой модели . В обычном режиме модель получает запрос и генерирует ответ. Даже при рассуждении по цепочке, когда модель разбивает задачу на шаги, количество вычислительных вызовов остаётся сравнительно ограниченным. ИИ-агенту приходится обращаться к модели снова и снова: для выбора следующего действия, обработки результатов внешнего инструмента, проверки состояния задачи и подготовки дальнейшего шага.
Из-за такой схемы растёт не только расход энергии, но и задержка ответа. По расчётам, время выполнения может увеличиваться до 153,7 раза. При этом дорогостоящие GPU не всегда заняты полезной работой: до 54,5% общего времени выполнения они простаивают, пока внешние инструменты выполняют свои операции. Возникает новая неэффективность: задача стала умнее и сложнее, но вычислительные ускорители часть времени ждут, вместо того чтобы считать.
На масштабе дата-центра эффект становится особенно заметным. Агент на базе языковой модели с 70 млрд параметров, сопоставимой по размеру с современными коммерческими ИИ-сервисами, в среднем расходовал 348,41 ватт-часа на один запрос. Для простой системы генерации ответов показатель оказался в 136,5 раза ниже.
Команда также посчитала, что произойдёт при массовом использовании таких агентов. Для оценки взяли 13,7 млрд агентских запросов в сутки, что соответствует текущему уровню поискового трафика Google. При такой нагрузке дата-центрам потребовалось бы около 198,9 ГВт мощности. Это намного больше мощности ИИ-центров, которые сейчас проектируются на уровне нескольких гигаватт, и примерно равно половине среднего энергопотребления США .
Исследование показывает, что конкуренция в ИИ будет зависеть не только от качества моделей. По мере распространения агентов всё большую роль начнут играть стоимость вычислений, загрузка GPU, архитектура дата-центров и доступность электроэнергии. Простое наращивание мощности не решит проблему, если система тратит ресурсы на многочисленные вызовы модели и ожидание внешних инструментов.
Профессор Минсу Ру заявил, что работа впервые количественно показывает не только рост интеллектуальности ИИ, но и цену такой интеллектуальности в электричестве и операционных расходах. По его словам, дальнейшее развитие потребует совместной оптимизации моделей, ИИ-чипов, дата-центров и энергетической инфраструктуры.
Авторы считают такой подход ключом к снижению стоимости ИИ-сервисов для пользователей и созданию устойчивой инфраструктуры. Команда также открыла реализации ИИ-агентов и тестовые наборы, использованные в работе, чтобы другие исследователи могли проверять результаты и развивать измерения для новых типов агентских систем.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
ИИ-агенты могут сделать дата-центры гораздо прожорливее, чем обычные чат-боты. Исследователи впервые системно оценили , сколько вычислений и электричества требуют системы, которые не просто отвечают на вопрос, а сами планируют действия, вызывают внешние инструменты и шаг за шагом доводят задачу до результата. Разница оказалась внушительной: один запрос к ИИ-агенту может стоить до 136,5 раза больше энергии, чем обычная генерация ответа.
Работу представили в феврале на 32-м симпозиуме IEEE International Symposium on High Performance Computer Architecture. Командой руководил профессор Минсу Ру, первым автором стал аспирант Джиин Ким. Исследователи рассматривали ИИ-агентов не как отдельные программы, а как новый тип нагрузки для дата-центров , где запросы постоянно обрабатывают серверы и GPU.
Обычные приложения на больших языковых моделях вроде ChatGPT уже вышли за пределы простого диалога. Будущее - за агентными системами: они могут составлять план, обращаться к веб-поиску, калькулятору или среде выполнения кода, проверять промежуточные результаты и менять ход работы. Подход полезен в программировании, научных задачах и офисной автоматизации, но цена автономности до сих пор оставалась плохо измеренной.
Главный источник роста энергопотребления связан с повторными обращениями к языковой модели . В обычном режиме модель получает запрос и генерирует ответ. Даже при рассуждении по цепочке, когда модель разбивает задачу на шаги, количество вычислительных вызовов остаётся сравнительно ограниченным. ИИ-агенту приходится обращаться к модели снова и снова: для выбора следующего действия, обработки результатов внешнего инструмента, проверки состояния задачи и подготовки дальнейшего шага.
Из-за такой схемы растёт не только расход энергии, но и задержка ответа. По расчётам, время выполнения может увеличиваться до 153,7 раза. При этом дорогостоящие GPU не всегда заняты полезной работой: до 54,5% общего времени выполнения они простаивают, пока внешние инструменты выполняют свои операции. Возникает новая неэффективность: задача стала умнее и сложнее, но вычислительные ускорители часть времени ждут, вместо того чтобы считать.
На масштабе дата-центра эффект становится особенно заметным. Агент на базе языковой модели с 70 млрд параметров, сопоставимой по размеру с современными коммерческими ИИ-сервисами, в среднем расходовал 348,41 ватт-часа на один запрос. Для простой системы генерации ответов показатель оказался в 136,5 раза ниже.
Команда также посчитала, что произойдёт при массовом использовании таких агентов. Для оценки взяли 13,7 млрд агентских запросов в сутки, что соответствует текущему уровню поискового трафика Google. При такой нагрузке дата-центрам потребовалось бы около 198,9 ГВт мощности. Это намного больше мощности ИИ-центров, которые сейчас проектируются на уровне нескольких гигаватт, и примерно равно половине среднего энергопотребления США .
Исследование показывает, что конкуренция в ИИ будет зависеть не только от качества моделей. По мере распространения агентов всё большую роль начнут играть стоимость вычислений, загрузка GPU, архитектура дата-центров и доступность электроэнергии. Простое наращивание мощности не решит проблему, если система тратит ресурсы на многочисленные вызовы модели и ожидание внешних инструментов.
Профессор Минсу Ру заявил, что работа впервые количественно показывает не только рост интеллектуальности ИИ, но и цену такой интеллектуальности в электричестве и операционных расходах. По его словам, дальнейшее развитие потребует совместной оптимизации моделей, ИИ-чипов, дата-центров и энергетической инфраструктуры.
Авторы считают такой подход ключом к снижению стоимости ИИ-сервисов для пользователей и созданию устойчивой инфраструктуры. Команда также открыла реализации ИИ-агентов и тестовые наборы, использованные в работе, чтобы другие исследователи могли проверять результаты и развивать измерения для новых типов агентских систем.
- Источник новости
- www.securitylab.ru
