Поскольку модели искусственного интеллекта продолжают расширяться, HBM, возможно, не сможет удовлетворить будущие потребности в объеме видеопамяти, что побуждает отрасль рассматривать архитектуру хранения данных на базе графических процессоров как потенциальный следующий технологический рубеж. В прошлом году появилась новость о том, что Nvidia работает с SK Hynix и Kioxia соответственно, чтобы продвигать разработку AI SSD и использовать специально изготовленные детали SSD для замены HBM в качестве расширителя памяти графического процессора. Кроме того, в этом году SK Hynix также сотрудничала с SanDisk, чтобы представить HBF (High Bandwidth Flash), решение памяти следующего поколения для эпохи искусственного интеллекта, чтобы решить ту же проблему.
Согласно отчетам TrendForce, Nvidia продвигает разработку архитектуры хранилища с прямым доступом к графическому процессору и планирует внедрить ее на платформе Vera Rubin и активировать функцию GIDS (GPU-Initiated Direct Storage Access). Сторонние специалисты полагают, что это изменение может ускорить развитие HBF.
GIDS отличается от существующей функции GDS (GPU Direct Storage). Между ними есть разница: в GDS ЦП отправляет запрос данных на устройство хранения перед передачей данных на графический процессор. В GIDS графический процессор напрямую обращается к устройству хранения данных, минуя центральный процессор и DRAM.
И GIDS, и GDS стремятся преодолеть узкие места передачи данных в традиционных вычислительных архитектурах, и, по слухам, Microsoft и AMD изучают аналогичные подходы. Основная проблема заключается в том, что традиционный метод передачи данных неэффективен. ЦП имеет ограниченную структуру обработки потоков, в то время как графический процессор может генерировать десятки тысяч параллельных потоков. В настоящее время передача данных GPU-HBM составляет около половины общего энергопотребления системы, что дополнительно поддерживает архитектуру HBF и приближает сверхскоростную флэш-память NAND к графическому процессору, чтобы справиться с будущими узкими местами искусственного интеллекта.
Появление GIDS может позволить флэш-памяти NAND играть более важную роль в системах хранения данных искусственного интеллекта, одновременно снижая нагрузку на HBM с точки зрения емкости. Этот сдвиг требует более высокопроизводительной флэш-памяти NAND, чтобы соответствовать скорости обработки графического процессора. Преимуществом флэш-памяти NAND является ее битовая плотность, которая примерно в 30 раз выше, чем у DRAM, что обеспечивает большую емкость хранения при аналогичном пространстве.
Однако флэш-память NAND имеет ограниченную долговечность, а DRAM имеет практически неограниченные возможности записи. Поэтому HBF считается более подходящим для хранения параметров модели ИИ, поскольку эта часть данных остается практически неизменной во время процесса вывода и используется только в качестве рабочей нагрузки только для чтения.