- 28,231
- 46
- 8 Ноя 2022
Архитектура V-Die показала 540 токенов в секунду против 296 у HBM4 в симуляции нагрузки GPT-3
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Будущие ускорители ИИ могут получить память, поставленную буквально на ребро. Исследователи из Южной Кореи и Японии предложили развернуть кристаллы оперативной памяти вертикально, чтобы увеличить скорость и объём HBM, не превращая многослойную конструкцию в плохо охлаждающуюся кремниевую печь.
Две разработки под названиями V-Die и MOSAIC представили в июне 2026 года на симпозиуме IEEE по сверхбольшим интегральным схемам. Обе группы отказались от привычной схемы, при которой кристаллы динамической памяти укладывают друг на друга горизонтальными слоями. Инженеры предлагают сначала собрать пакет, а затем повернуть конструкцию набок, чтобы отдельные кристаллы стояли вертикально, словно пластины радиатора.
Современная HBM размещает несколько кристаллов памяти над базовым кристаллом и соединяет слои сквозными металлическими каналами TSV. Широкая и короткая шина позволяет передавать данные со скоростью в несколько терабайт в секунду, поэтому HBM стала основой мощных ускорителей ИИ. Рост числа слоёв, однако, усложняет отвод тепла. Нижние кристаллы нагреваются, а тепло вынуждено проходить через кремний, припой, изоляционные материалы и другие слои корпуса. Сквозные каналы также занимают площадь, которую производители могли бы отдать дополнительным ячейкам памяти.
Корейская разработка V-Die убирает TSV из кристаллов памяти. Каждый вертикальный кристалл получает собственные линии ввода и вывода вдоль нижней грани и напрямую соединяется с подложкой. По расчётам исследователей, конструкция предлагает в четыре раза больше соединений по сравнению с HBM4 и сокращает время чтения данных на 37%. Между кристаллами проходят микроканалы с жидкостью, которые должны удерживать температуру около 45 °C. Плотные пакеты традиционной HBM при высокой нагрузке могут нагреваться более чем до 80 °C.
Моделирование системы с 16 кристаллами показало заметный прирост производительности. При обработке нагрузки масштаба GPT-3 архитектура V-Die выдала 540 токенов в секунду против 296 токенов у HBM4 с сопоставимым объёмом памяти. Задержка до появления первого токена снизилась на 32%, примерно на 24 миллисекунды. Результаты пока получены в симуляции, а исследовательская группа только готовит прототип для проверки тепловых и электрических характеристик.
Японский проект MOSAIC решает другую проблему вертикальной сборки. Даже небольшая разница в толщине нескольких десятков кристаллов способна нарушить совмещение контактных площадок. Инженеры Токийского и Тохокского университетов вместе со специалистами института Riken предложили передавать данные без прямого металлического контакта. Миниатюрные катушки на кристаллах и подложке обмениваются сигналами через электромагнитную индукцию, поэтому деталям не требуется идеально совпадать при сборке.
Опытный интерфейс MOSAIC достиг скорости до 4 Гбит/с на один канал. Исследователи рассчитывают вдвое увеличить объём памяти уровня HBM4 при размещении вертикального блока непосредственно над графическим процессором, не повышая максимальную температуру более чем примерно на один градус. В одной из конфигураций куб вмещает 98 кристаллов и 294 ГБ памяти, а уменьшение толщины кристаллов теоретически позволит довести объём до 882 ГБ.
V-Die и MOSAIC пока не готовы заменить серийную HBM. Корейская архитектура существует главным образом в виде расчётов, а японскому прототипу ещё предстоит доказать приемлемую себестоимость, надёжность и высокий процент годных изделий при массовом выпуске. Однако обе разработки показывают возможный путь вокруг теплового барьера, который всё сильнее ограничивает рост памяти для ускорителей ИИ. Вместо бесконечного увеличения высоты пакета инженеры предлагают развернуть всю конструкцию и превратить кристаллы памяти в собственную систему отвода тепла.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Будущие ускорители ИИ могут получить память, поставленную буквально на ребро. Исследователи из Южной Кореи и Японии предложили развернуть кристаллы оперативной памяти вертикально, чтобы увеличить скорость и объём HBM, не превращая многослойную конструкцию в плохо охлаждающуюся кремниевую печь.
Две разработки под названиями V-Die и MOSAIC представили в июне 2026 года на симпозиуме IEEE по сверхбольшим интегральным схемам. Обе группы отказались от привычной схемы, при которой кристаллы динамической памяти укладывают друг на друга горизонтальными слоями. Инженеры предлагают сначала собрать пакет, а затем повернуть конструкцию набок, чтобы отдельные кристаллы стояли вертикально, словно пластины радиатора.
Современная HBM размещает несколько кристаллов памяти над базовым кристаллом и соединяет слои сквозными металлическими каналами TSV. Широкая и короткая шина позволяет передавать данные со скоростью в несколько терабайт в секунду, поэтому HBM стала основой мощных ускорителей ИИ. Рост числа слоёв, однако, усложняет отвод тепла. Нижние кристаллы нагреваются, а тепло вынуждено проходить через кремний, припой, изоляционные материалы и другие слои корпуса. Сквозные каналы также занимают площадь, которую производители могли бы отдать дополнительным ячейкам памяти.
Корейская разработка V-Die убирает TSV из кристаллов памяти. Каждый вертикальный кристалл получает собственные линии ввода и вывода вдоль нижней грани и напрямую соединяется с подложкой. По расчётам исследователей, конструкция предлагает в четыре раза больше соединений по сравнению с HBM4 и сокращает время чтения данных на 37%. Между кристаллами проходят микроканалы с жидкостью, которые должны удерживать температуру около 45 °C. Плотные пакеты традиционной HBM при высокой нагрузке могут нагреваться более чем до 80 °C.
Моделирование системы с 16 кристаллами показало заметный прирост производительности. При обработке нагрузки масштаба GPT-3 архитектура V-Die выдала 540 токенов в секунду против 296 токенов у HBM4 с сопоставимым объёмом памяти. Задержка до появления первого токена снизилась на 32%, примерно на 24 миллисекунды. Результаты пока получены в симуляции, а исследовательская группа только готовит прототип для проверки тепловых и электрических характеристик.
Японский проект MOSAIC решает другую проблему вертикальной сборки. Даже небольшая разница в толщине нескольких десятков кристаллов способна нарушить совмещение контактных площадок. Инженеры Токийского и Тохокского университетов вместе со специалистами института Riken предложили передавать данные без прямого металлического контакта. Миниатюрные катушки на кристаллах и подложке обмениваются сигналами через электромагнитную индукцию, поэтому деталям не требуется идеально совпадать при сборке.
Опытный интерфейс MOSAIC достиг скорости до 4 Гбит/с на один канал. Исследователи рассчитывают вдвое увеличить объём памяти уровня HBM4 при размещении вертикального блока непосредственно над графическим процессором, не повышая максимальную температуру более чем примерно на один градус. В одной из конфигураций куб вмещает 98 кристаллов и 294 ГБ памяти, а уменьшение толщины кристаллов теоретически позволит довести объём до 882 ГБ.
V-Die и MOSAIC пока не готовы заменить серийную HBM. Корейская архитектура существует главным образом в виде расчётов, а японскому прототипу ещё предстоит доказать приемлемую себестоимость, надёжность и высокий процент годных изделий при массовом выпуске. Однако обе разработки показывают возможный путь вокруг теплового барьера, который всё сильнее ограничивает рост памяти для ускорителей ИИ. Вместо бесконечного увеличения высоты пакета инженеры предлагают развернуть всю конструкцию и превратить кристаллы памяти в собственную систему отвода тепла.
- Источник новости
- www.securitylab.ru
