Аннотация:
Groq, компания по производству чипов для вывода искусственного интеллекта, приобретенная NVIDIA, планирует внедрить технологию 3D-стековой DRAM в свои продукты LPU (Language Processing Unit) следующего поколения, чтобы заменить широко используемое в настоящее время решение SRAM. Эта корректировка означает, что в будущем компания сосредоточится на увеличении емкости памяти чипов, чтобы адаптироваться к растущему спросу на крупномасштабные модели искусственного интеллекта.
Ранее в этом году NVIDIA анонсировала стоечный продукт Groq LPX и включила его в экосистему Vera Rubin для повышения производительности вывода ИИ. Полномасштабное производство стойки было запущено в августе этого года. Согласно ранним результатам тестирования, при работе совместно с сервером NVL72 система может достичь скорости вывода 3400 токенов в секунду, установив новый рекорд производительности.
Текущее поколение Groq LPU оснащено 500 МБ SRAM и имеет пропускную способность памяти до 150 ТБ/с. В стойке LPX система оснащена 256 такими микросхемами, что обеспечивает общую емкость SRAM 128 ГБ и расширенную пропускную способность 640 ТБ/с. Один Groq LPU может обеспечить около 1,20 Пфлопс вычислительной мощности FP8.
Но для следующего поколения продуктов Groq готовится пойти совершенно другим путем. Компания планирует отказаться от использования исключительно SRAM и вместо этого использовать DRAM и объединить ее с технологией упаковки 3D Stacked (3D stacked) для создания новой архитектуры. По сравнению со SRAM, самым большим преимуществом DRAM является то, что она может обеспечить гораздо большую емкость хранения, чем SRAM, но за счет относительно низкой пропускной способности и скорости доступа.
Источник в полупроводниковой отрасли сообщил, что Groq планирует внедрить технологию 3D-упаковки в чипах следующего поколения, а объект стекирования изменится с существующей SRAM на DRAM. Этот шаг широко интерпретируется в отрасли как желание Грока значительно увеличить емкость хранения чипов. Хотя SRAM чрезвычайно быстра, расширение ее емкости ограничено; для сравнения, хотя DRAM и медленнее, она больше подходит для создания крупномасштабных систем хранения.
Используя технологию 3D-стекирования, Groq может объединять несколько слоев DRAM в одном кристалле вертикальной структуры и использовать технологию TSV (Through Silicon Via) для достижения межуровневых соединений. Эта концепция дизайна очень похожа на то, как реализована современная память HBM с высокой пропускной способностью. По сравнению с традиционной упаковкой DRAM решение 3D-стекинга может не только значительно увеличить плотность хранения на единицу площади, но также повысить энергоэффективность и снизить требования к пространству.
Судя по раскрытой на данный момент информации, акцент при обновлении продукта Groq явно сместился на емкость хранилища, при этом все еще надеясь сохранить в максимально возможной степени некоторые преимущества высокой пропускной способности, обеспечиваемые архитектурой SRAM. Поскольку масштабы генеративных моделей искусственного интеллекта продолжают расти, потребность в высокоскоростной памяти большой емкости продолжает расти, поэтому ожидается, что новое поколение чипов Groq будет использоваться более широко.
В отчете также упоминается, что Groq, возможно, не полностью откажется от SRAM в будущем, но будет параллельно разрабатывать линейки продуктов DRAM и SRAM, чтобы предоставлять дифференцированные решения в соответствии с различными сценариями применения. Ожидается, что для NVIDIA, которая строит фабрики искусственного интеллекта и платформы искусственного интеллекта, этот тип чипов вывода более высокой производительности также будет играть более важную роль в будущем.
Комментарии