Аннотация:
15 октября компания Meta выпустила открытую модель искусственного интеллекта Muse Spark Open и в сотрудничестве с Apple оптимизировала решение для локального запуска модели для Mac Studio.
Мета заявила, что модель имеет 816 миллиардов общих параметров, из которых примерно 42 миллиарда фактически активируются для каждого вывода, поддерживает контекстное окно размером до 1 миллиона токенов и ориентирована на программирование, сложные рассуждения и задачи агента ИИ. Благодаря двум Mac Studio, оснащенным чипами M5 Ultra и каждый из которых оснащен 512 ГБ унифицированной памяти, пользователи могут запускать эту крупномасштабную модель в среде настольного компьютера, не полагаясь полностью на облачные службы искусственного интеллекта.
Это сотрудничество весьма привлекательно. В прошлом у Apple и Meta были существенные различия в политике конфиденциальности, правилах платформы и экологии приложений, но на этот раз обе стороны совместно продвигали работу модели открытого веса на оборудовании Apple. Генеральный директор Meta Марк Цукерберг поблагодарил генерального директора Apple Джона Тернуса за участие в сотрудничестве. Тернус также публично заявил, что Muse Spark Open может эффективно работать на настольных устройствах, демонстрируя потенциал Mac Studio в локальных вычислениях с использованием искусственного интеллекта.
Muse Spark Open — это версия семейства моделей Meta Muse с открытым весом. В отличие от закрытых моделей, доступ к которым возможен только через удаленные сервисы, модели с открытым весом позволяют пользователям получать веса моделей и развертывать их самостоятельно при соблюдении условий лицензирования. Это дает разработчикам, исследователям и предприятиям больший контроль над операционной средой и возможность адаптировать процессы вывода к своим потребностям.
Модель имеет всего 816 миллиардов параметров, но использует разреженную схему активации: для каждого вывода активируется только около 42 миллиардов параметров. Другими словами, модели не нужно вовлекать в расчет все параметры при обработке каждого токена, а вызывает соответствующую часть в соответствии с задачей и входным контентом. Такая конструкция помогает сократить объем вычислений вывода, но это не означает, что модель можно запускать, используя только память, необходимую для 42 миллиардов параметров, поскольку веса полной модели все равно необходимо сохранять или управлять иным образом.
Контекстное окно — еще один важный индикатор открытия Muse Spark. Эта модель поддерживает 1 миллион контекстов токенов и теоретически может обрабатывать очень длинные тексты, базы кода или несколько документов в одной задаче. Для задач разработки программного обеспечения это означает, что модели имеют возможность одновременно ссылаться на большие объемы исходного кода и связанных с ним материалов, что снижает риск пропуска важной информации из-за недостаточного контекста. Однако фактическая доступная длина контекста, скорость обработки и объем памяти по-прежнему зависят от конкретной рабочей конфигурации и платформы вывода.
Мета сообщила, что Muse Spark Open оптимизирован для Mac Studio и может работать с использованием унифицированной архитектуры памяти чипов Apple. Традиционные дискретные графические системы обычно требуют помещения весов моделей в видеопамять, в то время как унифицированная архитектура памяти Apple позволяет процессору и графическому процессору использовать один и тот же пул памяти. В Mac Studio, поддерживающей унифицированную память большой емкости, графический процессор может получить доступ к 512 ГБ унифицированной памяти, обеспечивая аппаратную основу для запуска больших моделей открытого веса.
По данным Meta, две Mac Studio могут совместно запускать модель через соответствующую программную среду, так что в системе будет около 1 ТБ единой памяти. Чип M5 Ultra, установленный на каждом устройстве, имеет пропускную способность памяти до 1,2 ТБ/с. Meta полагает, что эта конфигурация может запускать Muse Spark Open локально, используя при этом механизм разреженной активации, позволяющий считывать только некоторые параметры, необходимые для каждого вывода токена.
Ключом к этому решению является не просто соединение двух компьютеров, а совместная работа с помощью унифицированной архитектуры памяти, сегментирования моделей и инфраструктуры вывода, чтобы модели, которые изначально требовали более крупномасштабной вычислительной инфраструктуры, можно было запускать на настольных устройствах. Платформа машинного обучения Apple MLX обеспечивает выполнение моделей на Apple Silicon, а Meta настроена соответствующим образом для Muse Spark Open.
Однако необходимо различать две концепции: модель может загружаться и работать, а модель может работать на высокой скорости. Наличие достаточного количества памяти решает только одно серьезное препятствие при развертывании очень больших моделей. Сегментирование модели, взаимодействие между устройствами, пропускная способность памяти, использование вычислительных единиц и длина контекста — все это влияет на конечную скорость вывода. Информация, опубликованная Meta на этот раз, подчеркивала работоспособность и аппаратную конфигурацию модели, но не предоставила полных данных тестов, достаточных для полной оценки фактической производительности.
Цена также является важным ограничением этого плана. Apple еще официально не представила Mac Studio с 512 ГБ унифицированной памяти, которая, как ожидается, будет доступна в конце октября. Существующие высокопроизводительные модели Mac Studio с 256 ГБ унифицированной памяти уже стоят более 10 000 долларов, поэтому ожидается, что система, состоящая из двух версий по 512 ГБ, станет дорогостоящей инвестицией. Для обычных индивидуальных пользователей это, очевидно, не дешевое локальное решение ИИ, но для групп разработчиков и исследовательских институтов, которым необходимо запускать большие модели и контролировать ценные данные, оно обеспечивает альтернативу традиционным серверам.
Meta заявила, что Muse Spark Open может не только работать на Mac Studio, но также может вызываться через несколько облачных платформ искусственного интеллекта, включая Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter и Together AI. Пользователи, желающие загрузить веса моделей самостоятельно, могут получить соответствующие файлы через Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face и Microsoft Foundry Models.
В этой модели используется лицензия, допускающая ограниченное коммерческое использование, а не общая лицензия с открытым исходным кодом без ограничений. Поэтому, прежде чем использовать его в коммерческих продуктах, разработчикам и предприятиям все равно необходимо внимательно прочитать конкретные условия лицензии и подтвердить, соответствуют ли их метод развертывания, масштаб пользователя и сценарии применения требованиям.
Это сотрудничество также отражает новое направление развития локальных вычислений с использованием искусственного интеллекта. Раньше для запуска больших моделей с сотнями миллиардов параметров обычно требовалось несколько профессиональных графических процессоров, большие объемы видеопамяти и сложные серверные кластеры. Apple пытается использовать унифицированную архитектуру памяти и чипы с высокой пропускной способностью, чтобы на настольных компьютерах высокого класса можно было размещать более масштабные модели. Хотя этот подход по-прежнему ограничен с точки зрения затрат и производительности, он открывает новые возможности для пользователей, которые не хотят отправлять все свои данные в облако.
Для Apple Muse Spark Open также помогает продемонстрировать позиционирование Mac Studio в области разработки искусственного интеллекта. Поскольку все больше и больше разработчиков пытаются запускать модели локально, объем единой памяти и пропускная способность постепенно становятся важными показателями для измерения возможностей искусственного интеллекта высокопроизводительных компьютеров. Apple надеется, что благодаря экосистеме M5 Ultra и MLX Mac не только станет подходящим для редактирования видео, 3D-дизайна и создания музыки, но и станет местной платформой для разработки искусственного интеллекта и рассуждений.
Для Meta выпуск модели открытого веса и поддержка работы на оборудовании Apple поможет расширить охват разработчиков серии Muse. Пользователи могут выбрать облачный API или локальное развертывание в соответствии со своими потребностями, а Meta также может привлечь больше разработчиков для создания приложений и инструментов на основе этой модели.
В целом значимость Muse Spark Open заключается не только в количестве 816 миллиардов параметров, но и в том, что он демонстрирует возможность совмещения крупномасштабных моделей открытого веса с высококлассным настольным оборудованием. Два Mac Studio, оснащенные 512 ГБ унифицированной памяти, могут предоставить модели около 1 ТБ памяти, что делает ее подходящей для локального запуска, но фактический опыт по-прежнему зависит от скорости вывода, стоимости оборудования и оптимизации программного обеспечения.
Этого сотрудничества недостаточно, чтобы доказать, что обычные персональные компьютеры могут легко запускать очень крупномасштабные модели, но оно показывает, что локальное оборудование искусственного интеллекта развивается в сторону большей емкости памяти и более сильных возможностей совместных вычислений. Поскольку архитектура моделей и программное обеспечение для вывода продолжают оптимизироваться, некоторые модели ИИ, которые в прошлом можно было развернуть только в крупных центрах обработки данных, в будущем могут постепенно проникнуть в студии, лаборатории и настольные среды разработчиков.
Комментарии