Аннотация:
Быстрое расширение мировой индустрии искусственного интеллекта вызывает серьезную нехватку поставок микросхем памяти, особенно резкий рост спроса на память с высокой пропускной способностью (HBM), что ставит традиционные производственные мощности DRAM под необходимость перераспределения. В этом контексте бывший генеральный директор Intel Пэт Гелсингер делает ставку на новый тип технологии памяти, надеясь решить долгосрочные проблемы с емкостью, пропускной способностью и энергопотреблением, с которыми сталкиваются чипы искусственного интеллекта, путем изменения способа проектирования традиционных ячеек памяти.
Технология называется Z2RAM и была разработана американским стартапом Nagare Labs. Компания была основана исследователями Технологического института Джорджии Суман Датта и Шименг Ю. Его исследовательская основа основана на многолетних исследованиях новых технологий хранения данных, таких как сегнетоэлектрическая память и резистивная память с произвольным доступом.
Playground Global, инвестиционная организация, в которой в настоящее время участвует Киссинджер, возглавила начальный раунд финансирования Nagare Labs на сумму 5 миллионов долларов. Он проявил значительный интерес к этой технологии и считает, что Z2RAM имеет возможность объединить преимущества SRAM, DRAM и флэш-памяти для создания нового типа памяти с высокой плотностью, высокой скоростью и масштабируемостью.
Киссинджер отметил, что за последние три десятилетия основные технологии хранения данных, получившие широкое коммерциализацию, не претерпели фундаментальных изменений. Флэш-память SRAM, DRAM и NAND по-прежнему составляют основу хранения современного вычислительного оборудования. Однако по мере быстрого роста вычислительных требований искусственного интеллекта ограничения традиционных архитектур хранения данных становятся все более очевидными.
Самым важным прорывом этой технологии является изменение способа хранения заряда ячейки памяти.
Традиционная DRAM обычно использует структуру 1T1C, то есть транзистор соединен с конденсатором, и конденсатор хранит заряд для представления данных. Поскольку заряд конденсатора со временем утекает, DRAM должна периодически обновлять данные, а процесс чтения является разрушительным и требует перезаписи после чтения.
SRAM использует другую конструкцию, обычно для формирования ячейки памяти требуется шесть транзисторов. Его не нужно периодически обновлять, как DRAM, а скорость чтения очень высокая, поэтому он широко используется в качестве кэша внутри процессора. Однако цена заключается в том, что площадь запоминающего устройства больше, а стоимость производства высока, что затрудняет достижение крупномасштабного расширения с высокой плотностью, такого как DRAM и NAND.
Z2RAM пытается найти новый баланс между ними. Он использует два транзистора для формирования блока памяти вместо использования отдельного конденсатора в традиционной DRAM. Вместо этого он использует емкость затвора второго транзистора для хранения заряда.
Суман Датта, соучредитель Nagare Labs, объяснил, что такая конструкция обеспечивает неразрушающее считывание. Другими словами, при чтении данных нет необходимости расходовать заряд хранилища, а затем выполнять операцию перезаписи, как в традиционной DRAM, поэтому ожидается, что это уменьшит задержку доступа и повысит общую эффективность хранения.
Что касается плотности, Nagare Labs прогнозирует, что плотность хранения на единицу площади Z2RAM первого поколения может быть более чем в пять раз выше, чем у традиционной SRAM. Например, если SRAM той же области может обеспечить емкость 64 МБ, то с помощью Z2RAM емкость теоретически можно увеличить примерно до 320 МБ, сохраняя при этом уровень пропускной способности, близкий к уровню SRAM.
Это особенно важно для процессоров искусственного интеллекта. В настоящее время ускорители искусственного интеллекта все чаще полагаются на HBM для обеспечения огромной пропускной способности памяти, но HBM требует сложной технологии стекирования, высоких производственных затрат и ограничений в энергопотреблении и области упаковки.
С другой стороны, некоторые процессоры, специально используемые для вывода ИИ, используют большой объем встроенной SRAM, чтобы минимизировать задержку доступа процессора к внешней памяти. Однако плотность SRAM ограничена, из-за чего чипу приходится искать компромисс между емкостью и вычислительными блоками в пределах ограниченной области.
Например, NVIDIA Groq 3 LPU использует большой объем SRAM в качестве встроенных ресурсов хранения, а емкость SRAM одного чипа составляет примерно 500 МБ. Согласно техническому видению Nagare Labs, если Z2RAM сможет достичь ожидаемой пятикратной плотности, то на одной и той же площади можно будет разместить в несколько раз больше данных, чем в традиционной SRAM. Это может уменьшить количество процессоров, необходимых для больших систем вывода ИИ, и снизить нагрузку на данные, которые необходимо передавать между различными чипами.
Еще одной важной особенностью Z2RAM является использование оксидных полупроводниковых материалов, которые планируется интегрировать непосредственно поверх вычислительного логического чипа с помощью технологии гибридного 3D-соединения.
Это означает, что не нужно полностью полагаться на традиционную архитектуру отделения чипа памяти от процессора. Вместо этого у него есть возможность размещать слои хранения высокой плотности непосредственно рядом с вычислительным чипом, чтобы сократить расстояние передачи данных. Идея его конструкции чем-то похожа на размещение дополнительного кэша SRAM в процессоре с помощью технологии 3D V-Cache, но Z2RAM надеется обеспечить более высокую плотность хранения.
Что касается технологии производства, Nagare Labs также планирует использовать идею вертикального стека флэш-памяти NAND для создания нескольких слоев хранения данных, слой за слоем. В отличие от HBM и LPDDR, которые полагаются на сложную упаковку памяти высокой плотности, компания надеется добиться относительно простого многослойного производства с помощью оксидных полупроводников и внутренних процессов. Если это решение окажется успешным, у него появится возможность снизить стоимость производства встроенной памяти большой емкости.
Однако Z2RAM все еще находится на очень ранней стадии разработки. Nagare Labs только что завершила начальный раунд финансирования в размере 5 миллионов долларов США. Результаты на этом этапе представляют собой в основном лабораторные прототипы, которые еще не перешли на стадию зрелого производства чипов.
Компания ищет отличных партнеров, которые могут предоставить возможности для исследований, разработок и производства, надеясь продвигать технологию от чистых помещений университетской лаборатории до более масштабной проверки производства. Согласно текущему плану, Nagare Labs надеется предоставить рабочие образцы микросхем памяти Z2RAM в течение следующих четырех лет и стремиться к достижению коммерческих поставок в течение следующих десяти лет.
В то же время эта технология сталкивается со многими инженерными проблемами.
Во-первых, это проблема интеграции с вычислительными чипами. Z2RAM необходимо подключать к процессору или ускорителю искусственного интеллекта посредством гибридного 3D-соединения, но в отрасли еще не сформирован единый стандарт интерфейса, подходящий для этого нового типа памяти. Исследователи Технологического института Джорджии заявили, что без зрелых отраслевых стандартов Nagare Labs, возможно, придется разработать собственную технологию интерфейса, что увеличит сложность проектирования и коммерциализации продукта.
Второе — материальная надежность. Оксидные полупроводники имеют определенные преимущества в термической стабильности и радиационной стойкости, но внутри материала могут возникать такие дефекты, как атомные вакансии. Эти микроскопические дефекты могут повлиять на пороговое напряжение транзистора, и даже небольшие изменения напряжения могут вызвать ошибки данных в ячейке памяти.
Для продуктов памяти надежность зачастую важнее максимальной производительности в лаборатории. Любая новая технология хранения данных должна пройти долгосрочное хранение данных, срок службы чтения и записи, проверку изменений температуры и производственную согласованность, прежде чем она действительно сможет выйти на коммерческий рынок.
Соучредитель Nagare Labs также признал, что в истории было большое количество стартапов в области памяти, которые пытались бросить вызов традиционным технологиям DRAM и флэш-памяти, но в конечном итоге потерпели неудачу. Даже если технология хорошо работает в лаборатории, это не означает, что она пройдет строгие стандарты качества полупроводниковой промышленности и войдет в цепочку поставок существующих вычислительных систем.
Причина, по которой Киссинджер с оптимизмом смотрит на Z2RAM, тесно связана с узким местом памяти, с которым сталкивается нынешняя индустрия искусственного интеллекта. Обучение и вывод больших языковых моделей не только требуют мощной вычислительной мощности, но также требуют непрерывной подачи больших объемов данных в процессор. Когда скорость обработки вычислительного блока намного превышает емкость хранения данных в памяти, процессор должен ждать данных, что приводит к дорогостоящим вычислительным ресурсам, которые не могут быть полностью использованы.
В настоящее время HBM является основным решением проблемы пропускной способности памяти ускорителей искусственного интеллекта, но оно не лишено недостатков. Гелсингер считает, что если Z2RAM сможет достичь ожидаемой производительности, у нее появится возможность предоставить решения, отличные от существующих HBM с точки зрения плотности хранения, скорости и энергопотребления.
Стоит отметить, что Z2RAM не является технологией, которая может решить глобальную нехватку поставок DRAM и HBM в краткосрочной перспективе. Даже если инженерные образцы станут доступны в ближайшие четыре года, до крупномасштабной коммерциализации еще далеко. Текущий дефицит глобальной памяти в основном вызван ростом спроса со стороны центров обработки данных искусственного интеллекта, а также тем, что Samsung, SK Hynix и Micron перераспределяют больше производственных мощностей на продукты HBM и серверную память.
Арс Техника
+2
Если Z2RAM в конечном итоге сможет достичь массового производства, ее более важное значение может заключаться в изменении архитектуры хранения данных будущих процессоров, а не просто в увеличении поставок традиционных микросхем памяти. Ожидается, что это позволит процессорам искусственного интеллекта получить больше высокоскоростного пространства для хранения данных внутри чипа, уменьшит зависимость от пропускной способности внешней памяти и предоставит новые возможности проектирования для следующего поколения ускорителей искусственного интеллекта.
От SRAM до DRAM и флэш-памяти NAND полупроводниковая промышленность сформировала относительно зрелую систему технологий хранения данных. Z2RAM пытается сломать давний компромисс между производительностью и плотностью между этими технологиями. Однако это все еще техническая концепция, находящаяся на лабораторной стадии. Сможет ли он в конечном итоге превратиться из результата научного исследования в конкурентоспособный коммерческий продукт, потребует времени и испытаний производственного процесса.
Комментарии