- 29,465
- 46
- 8 Ноя 2022
Первые тесты показали, насколько далеко компания готова зайти в борьбе за вычислительное преимущество.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/670;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Гонка за вычислительной эффективностью современного ИИ всё сильнее упирается не только в скорость, но и в энергопотребление. OpenAI представила первые результаты тестов ускорителя Jalapeño, который в бенчмарке InferenceX от SemiAnalysis превзошёл доступные сейчас передовые системы инференса по числу токенов на пользователя и пропускной способности на киловатт.
В сравнении участвовала система на Nvidia Blackwell. По данным OpenAI, Jalapeño способен обслуживать больше вычислений на единицу энергии и одновременно сокращать задержку ответа. Пока речь идёт только о тестах, а не о массовой эксплуатации. Первое развёртывание в очень небольших объёмах ожидается в конце 2026 года, более заметное запланировано на 2027 год.
OpenAI разрабатывала Jalapeño совместно с Broadcom, причём модели компании помогали в процессе проектирования. Ускоритель задуман не как отдельный разовый продукт, а как основа для нескольких поколений систем, где модели, чипы, память и программные компоненты будут проектироваться совместно, чтобы сократить потери производительности между отдельными этапами инференса.
Главное внимание разработчики уделили двум этапам, которые часто создают задержки. Первый связан с предварительной обработкой запроса, второй с обменом данными между компонентами системы. Архитектура Jalapeño уменьшает перемещения данных и дольше держит состояние модели рядом с нужными ресурсами, включая KV-кэш, который используется при генерации ответа.
В зависимости от стадии обработки запроса система задействует нужное сочетание вычислительных блоков, памяти и сети. OpenAI связывает такую архитектуру с приростом скорости и энергоэффективности, показанным в InferenceX. Однако нынешнее преимущество относится к проведённому тесту, а к моменту широкого запуска конкурирующие ускорители могут заметно продвинуться.
К моменту более масштабного внедрения в 2027 году рынок ускорителей может заметно измениться, поэтому нынешнее сравнение с Nvidia Blackwell не гарантирует сохранения лидерства. Пока Jalapeño остаётся платформой с первыми результатами в InferenceX и ограниченным планом запуска. Практический эффект станет понятнее после более широкого развёртывания системы.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/670;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Гонка за вычислительной эффективностью современного ИИ всё сильнее упирается не только в скорость, но и в энергопотребление. OpenAI представила первые результаты тестов ускорителя Jalapeño, который в бенчмарке InferenceX от SemiAnalysis превзошёл доступные сейчас передовые системы инференса по числу токенов на пользователя и пропускной способности на киловатт.
В сравнении участвовала система на Nvidia Blackwell. По данным OpenAI, Jalapeño способен обслуживать больше вычислений на единицу энергии и одновременно сокращать задержку ответа. Пока речь идёт только о тестах, а не о массовой эксплуатации. Первое развёртывание в очень небольших объёмах ожидается в конце 2026 года, более заметное запланировано на 2027 год.
OpenAI разрабатывала Jalapeño совместно с Broadcom, причём модели компании помогали в процессе проектирования. Ускоритель задуман не как отдельный разовый продукт, а как основа для нескольких поколений систем, где модели, чипы, память и программные компоненты будут проектироваться совместно, чтобы сократить потери производительности между отдельными этапами инференса.
Главное внимание разработчики уделили двум этапам, которые часто создают задержки. Первый связан с предварительной обработкой запроса, второй с обменом данными между компонентами системы. Архитектура Jalapeño уменьшает перемещения данных и дольше держит состояние модели рядом с нужными ресурсами, включая KV-кэш, который используется при генерации ответа.
В зависимости от стадии обработки запроса система задействует нужное сочетание вычислительных блоков, памяти и сети. OpenAI связывает такую архитектуру с приростом скорости и энергоэффективности, показанным в InferenceX. Однако нынешнее преимущество относится к проведённому тесту, а к моменту широкого запуска конкурирующие ускорители могут заметно продвинуться.
К моменту более масштабного внедрения в 2027 году рынок ускорителей может заметно измениться, поэтому нынешнее сравнение с Nvidia Blackwell не гарантирует сохранения лидерства. Пока Jalapeño остаётся платформой с первыми результатами в InferenceX и ограниченным планом запуска. Практический эффект станет понятнее после более широкого развёртывания системы.
- Источник новости
- www.securitylab.ru
