Аннотация:
30 сентября компания Framework официально открыла предварительные заказы на новый настольный компьютер Framework, оснащенный процессором AMD Ryzen AI Max+ PRO 495. Хотя цена этого мини-настольного компьютера для локальных вычислений искусственного интеллекта чрезвычайно высока (цена DIY-версии начинается от 6799 долларов США), первая партия продуктов была быстро распродана в течение нескольких часов после ее появления в сети, что свидетельствует о высоком спросе на унифицированную память большой емкости для локального запуска больших моделей искусственного интеллекта.
Флагманская конфигурация, выпущенная Framework, использует AMD Ryzen AI Max+ PRO 495, процессор нового поколения под кодовым названием Gorgon Halo и оснащена 192 ГБ унифицированной памяти LPDDR5X-8533. По сравнению с максимальной конфигурацией предыдущей версии Framework Desktop в 128 ГБ, в новой версии одновременно добавляется 64 ГБ памяти, что позволяет напрямую загружать крупномасштабные локальные модели искусственного интеллекта на одну машину без необходимости часто помещать некоторые веса моделей на твердотельные накопители или формировать кластер на нескольких компьютерах.
В Ryzen AI Max+ PRO 495 используется 16-ядерный процессор Zen 5 с максимальной частотой ускорения 5,2 ГГц, оснащенный 64 МБ кэш-памяти уровня 3, TDP по умолчанию 55 Вт, cTDP до 120 Вт и встроенный графический процессор Radeon 8065S. Центральный и графический процессор используют единую память, что является одной из важных причин, почему этот продукт особенно подходит для локального вывода ИИ. В Framework заявили, что 192 ГБ памяти позволяют пользователям запускать большие модели, которые ранее было сложно полностью загрузить в память обычных потребительских ПК.
По сравнению с предыдущим Ryzen AI Max+ 395, PRO 495 не только увеличивает объем памяти, но также имеет более высокие тактовые частоты процессора и графического процессора, а также увеличивает общую скорость памяти до 8533 МТ/с. В Framework заявили, что эти изменения могут еще больше повысить скорость вывода ИИ.
Версия объемом 192 ГБ, предоставляемая Framework, на этот раз включает в себя DIY Edition и полную хост-версию предустановленной системы. Стоимость DIY Edition начинается с 6799 долларов США и включает 192 ГБ унифицированной памяти, но без предустановленного хранилища. Для пользователей, у которых уже есть твердотельный накопитель или которые хотят выбрать собственное решение для хранения данных, эта конфигурация может снизить некоторые затраты.
Если вы выберете полную предустановленную версию, цена достигнет 7449 долларов США. В этой версии добавлен твердотельный накопитель NVMe PCIe 4.0 емкостью 2 ТБ и поставляется с предустановленной операционной системой Fedora 44 KDE Plasma Edition. Другими словами, если добавить твердотельный накопитель емкостью 2 ТБ и предустановленную систему, цена всей машины будет на 650 долларов выше, чем у версии, сделанной своими руками.
Для сравнения, текущая версия Framework Desktop с процессором Ryzen AI Max+ 395 и памятью 128 ГБ стоит примерно 3449 долларов США. Новая версия на 192 ГБ имеет на 50% больше памяти и модернизированный процессор, но версия DIY почти в два раза дороже исходной версии на 128 ГБ.
Такая высокая цена напрямую связана с сохраняющейся в последнее время напряженностью на рынке памяти. Ранее компания Framework уже неоднократно заявляла, что стоимость памяти LPDDR5X большой емкости значительно возрастает, особенно из-за нехватки 128-гигабитных частиц памяти высокой плотности, что оказывает весьма очевидное влияние на стоимость унифицированных устройств памяти большой емкости. Таким образом, цена этой версии на 192 ГБ намного выше, чем у предыдущей обычной конфигурации Framework Desktop.
На самом деле, прежде чем продукт был официально открыт для предварительного заказа, компания Framework заявила, что из-за ограниченного объема памяти на начальном этапе она сможет предоставить только партию систем Gorgon Halo емкостью 192 ГБ. После того как 30 сентября начались предварительные заказы, первая партия продукции была быстро распродана. Позже в Framework сообщили, что компании удалось получить дополнительную партию памяти, поэтому она открыла вторую ограниченную партию предварительных заказов.
Ожидается, что вторая партия продукции будет отгружена в ноябре. Однако Framework также напоминает потребителям, что цена и время вывода на рынок следующих нескольких партий продуктов будут зависеть от стоимости и поставок поставщиков памяти. Компания даже дала понять, что цена Framework Desktop может продолжить расти в ближайшие месяцы.
Для местных пользователей ИИ самой большой привлекательностью этой машины является унифицированная память объемом 192 ГБ. Традиционные ПК обычно полагаются на независимую память видеокарты для запуска больших моделей искусственного интеллекта, в то время как емкость памяти высокопроизводительных графических процессоров обычно ограничивается одной картой. Если модель не может быть полностью размещена в видеопамяти, для обмена данными придется использовать системную память или даже SSD, и производительность может существенно ухудшиться.
Framework Desktop использует архитектуру, в которой процессор, графический процессор и искусственный интеллект используют единую память, которая может напрямую выделять большой объем памяти графическому процессору. Емкость 192 ГБ означает, что пользователи могут запускать очень большие локальные модели на небольшом компьютере объемом около 4,5 литров. В Framework заявили, что дополнительные 64 ГБ памяти могут не только загружать одну большую модель, но и одновременно сохранять в памяти две модели меньшего размера, позволяя более быстрой модели отвечать за основные взаимодействия и позволяя другой, более мощной, но более медленной модели брать на себя сложные проблемы.
Framework также особо подчеркивает, что эта конфигурация привлекательна для пользователей, которые хотят запускать ИИ полностью локально. Модель может оставаться на локальном устройстве без загрузки данных в облако. В сценариях, связанных с конфиденциальностью, исходным кодом или конфиденциальными бизнес-данными, локальное управление может снизить зависимость от облачных сервисов искусственного интеллекта.
Однако 192 ГБ унифицированной памяти не означает, что все 300 миллиардов моделей на уровне параметров могут работать с высокой скоростью. Размер модели, метод квантования, длина контекста и фактический объем памяти — все это влияет на конечную производительность. Память большой емкости решает проблему «можно ли установить модель», а скорость вывода модели также зависит от вычислительной мощности графического процессора, пропускной способности памяти и оптимизации программного обеспечения.
Общий объем Framework Desktop составляет всего около 4,5 литров, поэтому эта машина ближе к очень маленькой локальной рабочей станции с искусственным интеллектом, чем к обычному мини-ПК в традиционном понимании. Помимо вычислений с использованием искусственного интеллекта, он также может выполнять такие задачи, как игры, разработка и работа на настольных компьютерах Linux, а Framework продолжает подчеркивать свою концепцию модульного дизайна.
В настоящее время Framework Desktop уже предоставляет различные конфигурации памяти, такие как 32 ГБ, 64 ГБ и 128 ГБ, а версия на 192 ГБ стала флагманской моделью всей линейки продуктов для местных пользователей ИИ. Поскольку AMD продолжает совершенствовать свою унифицированную емкость памяти и вычислительные возможности искусственного интеллекта, архитектура «ЦП+ГП+совместная память большой емкости» также становится важным маршрутом для локального запуска больших языковых моделей.
Первая партия Framework Desktop емкостью 192 ГБ была быстро распродана, несмотря на стартовую цену в 6799 долларов США, что указывает на то, что некоторые разработчики искусственного интеллекта и местные энтузиасты моделей имеют очень высокий спрос на устройства унифицированной памяти большой емкости. Однако первая партия продуктов сама по себе ограничена предложением памяти, поэтому продажи не отражают напрямую общий масштаб спроса на всем рынке. Реальным ключом к определению возможности дальнейшей популяризации этого продукта остаются будущие цены на память, предложение и спрос на локальное оборудование для более масштабных моделей ИИ.
Комментарии