Аннотация:
Под влиянием продолжающегося дефицита DRAM индустрия искусственного интеллекта переходит от «ограничения вычислительной мощности» к «ограничению памяти». По имеющимся данным, Google начала демонтировать выведенные из эксплуатации серверы, перерабатывать модули памяти DDR4, которые еще можно использовать, и повторно использовать их в некоторых недавно построенных серверах искусственного интеллекта, постепенно создавая внутреннюю цепочку поставок по переработке памяти.
Нихил Чериан, старший директор по инфраструктуре цепочки поставок Google, недавно сообщил на саммите, что на высокопроизводительную память в настоящее время приходится около 75 % стоимости материалов для сервера искусственного интеллекта. Чтобы преодолеть узкое место в памяти, Google продвигает решения как на программном, так и на аппаратном уровне, включая демонтаж выведенных из эксплуатации серверов и переработку пригодных для использования компонентов.
Google даже разработала специально разработанные аппаратные адаптеры, позволяющие подключать предыдущие поколения памяти, такие как DDR4, к серверам искусственного интеллекта нового поколения. Чериан также признала, что Google намеренно репатриирует некоторые устаревшие серверы только для того, чтобы удалить модули памяти DDR4.
В то же время Google продолжает оптимизировать базовую библиотеку функций, архитектуру модели и технологию сжатия KV-кэша, чтобы уменьшить объем памяти, необходимый на единицу вычислительной мощности.
В этом году Google выпустила две версии ASIC TPU, из которых TPU8t в основном используется для обучения моделей искусственного интеллекта, а TPU8i оптимизирован для задач вывода. Чтобы устранить узкие места в производительности, в TPU8i используется тщательно настраиваемая многоуровневая конструкция памяти.
Каждый чип TPU 8i оснащен памятью HBM3e объемом 288 ГБ, которая обеспечивает сверхвысокую пропускную способность памяти — 8,6 ТБ в секунду. Чип также включает 384 МБ встроенной SRAM для хранения активного кэша значений ключей, чтобы избежать частого доступа к внешней системной памяти.
В серверной части сервер TPU 8i полностью заменяет традиционный основной процессор x86 и использует собственный процессор Axion от Google, основанный на архитектуре Arm. Процессор Axion основан на высокоскоростной архитектуре памяти DDR5 и в основном отвечает за задачи уровня хоста, такие как предварительная обработка данных.
Однако, судя по последнему заявлению Чериан, Google, судя по всему, использовала старую память DDR4 в некоторых новых серверах искусственного интеллекта для замены модулей DDR5, которые изначально должны были быть установлены. Конкретная линейка серверов и количество задействованных модулей DDR4 пока не разглашаются.
Комментарии