Аннотация:
Apple разрабатывает новое приложение под названием Harbour, цель которого — превратить компьютеры Mac, оснащенные чипами Apple Silicon, в частные серверы вывода искусственного интеллекта. В отличие от традиционного локального программного обеспечения искусственного интеллекта, Harbour может не только запускать большие языковые модели на одном Mac, но также подключать несколько компьютеров Mac через интерфейс Thunderbolt 5, интегрируя унифицированную память различных устройств в более крупный пул вычислительных ресурсов, тем самым запуская модели искусственного интеллекта, которые один компьютер не может независимо разместить.
Согласно отчету MacRumors от 10 ноября, это приложение в настоящее время тестируется Claris, дочерней компанией Apple, и еще официально не открыто для публики. Самым известным продуктом Claris является платформа базы данных FileMaker для корпоративных пользователей, поэтому Harbour может быть ориентирован в основном на предприятия, разработчиков и профессиональных пользователей, которым в будущем потребуется обрабатывать конфиденциальные данные.
Основная позиция Harbor — предоставить пользователям возможность развертывать модели искусственного интеллекта с открытым весом на своих компьютерах Mac, не полагаясь на облачные серверы. Согласно раскрытому в настоящее время представлению продукта, все процессы рассуждений ИИ могут выполняться на локальном оборудовании, а документы, вопросы и другие данные, представленные пользователями, не нужно загружать во внешние облачные сервисы.
Это имеет особое значение для корпоративных пользователей. Многие компании хотят использовать большие языковые модели для анализа внутренних документов, написания кода или обработки бизнес-информации, но не желают отправлять данные о клиентах, финансовую информацию и бизнес-тайны сторонним поставщикам услуг искусственного интеллекта. Харбор пытается упростить процесс локального развертывания, позволяя предприятиям напрямую использовать собственное оборудование Mac для запуска моделей искусственного интеллекта.
Наиболее примечательной особенностью этого приложения является то, что оно поддерживает создание вычислительного кластера, состоящего из нескольких компьютеров Mac, через интерфейс Thunderbolt 5.
Apple добавила поддержку удаленного прямого доступа к памяти (RDMA) на основе Thunderbolt 5 в macOS Tahoe 26.2. Благодаря этой технологии подключенные друг к другу компьютеры Mac могут получать доступ к ресурсам памяти, предоставляемым другими устройствами, с низкими затратами на связь, создавая условия для распределенного вывода ИИ.
Например, компьютер Mac с 64 ГБ унифицированной памяти может не иметь возможности самостоятельно загружать определенные языковые модели с большими размерами параметров. Однако если подключено несколько компьютеров Mac с достаточным объемом памяти, Harbour может координировать использование памяти и вычислительной мощности этих устройств для запуска моделей, мощность которых в противном случае превысила бы мощность одного устройства.
Однако такое объединение памяти не означает, что память нескольких компьютеров Mac станет пространством хранения, полностью эквивалентным единой памяти локального компьютера на аппаратном уровне. Доступ между устройствами по-прежнему требует передачи данных через интерфейс Thunderbolt, задержка и пропускная способность которого отличаются от унифицированной архитектуры памяти внутри чипа. Поэтому реальная производительность по-прежнему зависит от того, как модель распределяется по разным устройствам и как система координирует вычислительные задачи.
Помимо запуска более крупных моделей, кластеры из нескольких компьютеров также могут расширить возможности одновременной обработки. Для предприятий, которым необходимо предоставлять услуги искусственного интеллекта нескольким сотрудникам одновременно, несколько компьютеров Mac могут совместно использовать запросы на вывод, не полагаясь полностью на одну рабочую станцию с высокой конфигурацией.
Harbor также пытается решить давнюю сложную проблему конфигурации при локальном развертывании ИИ.
В настоящее время, хотя пользователи могут запускать модели с открытым весом на Mac с помощью таких инструментов, как LM Studio и Ollama, если они хотят объединить несколько компьютеров в кластер, им обычно необходимо установить дополнительное программное обеспечение, настроить сеть, управлять сегментированием модели и решать проблемы связи между различными устройствами.
Согласно раскрытому описанию функции, Harbour может автоматически идентифицировать устройства Mac, подключенные через Thunderbolt 5, и помочь в создании кластера. Пользователям нужно только подключить устройство и запустить приложение, и система автоматически выполнит необходимую настройку. Нет необходимости использовать командную строку или иметь профессиональный опыт управления сервером.
Что касается управления моделями, Harbour также предоставляет графический интерфейс, позволяющий пользователям напрямую просматривать, загружать и загружать модели открытого веса. Приложение управляет файлами модели и запускает конфигурацию, позволяя пользователям сосредоточиться на реальной работе.
Эта конструкция эквивалентна сочетанию простоты использования LM Studio с возможностями распределенного рассуждения на нескольких машинах. Для пользователей, которые не знакомы со сложной инфраструктурой искусственного интеллекта, если конечный продукт сможет реализовать эти функции, порог локального развертывания больших языковых моделей будет значительно снижен.
Однако Harbour — не первый проект, пытающийся объединить несколько компьютеров Mac для запуска моделей искусственного интеллекта. Ранее появился инструмент с открытым исходным кодом под названием Exo, который может использовать несколько устройств для совместного выполнения задач искусственного интеллекта. Более важным отличием Harbour, разработанного Apple на этот раз, может стать его интеграция с базовыми функциями macOS и предоставление более упрощенного опыта работы для обычных корпоративных пользователей.
В настоящее время Harbour все еще находится на ранней стадии тестирования. Ранее приложение ненадолго появлялось в App Store, но впоследствии соответствующая страница была удалена. Apple еще официально не объявила, когда продукт будет выпущен и будет ли он в конечном итоге доступен бесплатно.
На странице приложения раннего доступа Harbor требуется название компании, что также предполагает, что Apple может сначала выпустить продукт для корпоративного рынка, а не как общий инструмент, который смогут сразу загрузить все пользователи Mac.
С точки зрения аппаратного обеспечения это приложение может также расширить сценарии применения компьютеров Mac с большим объемом памяти. Архитектура унифицированной памяти Apple позволяет процессору и графическому процессору использовать один и тот же пул памяти, поэтому при работе с большими языковыми моделями некоторые разработчики выбирают Mac Studio и Mac mini, оснащенные большими объемами унифицированной памяти, для развертывания локального ИИ.
Если Harbour сможет обеспечить удобную совместную работу нескольких компьютеров Mac, предприятия смогут постепенно добавлять оборудование в соответствии с потребностями без необходимости каждый раз приобретать более дорогую и более мощную независимую рабочую станцию.
Однако следует отметить, что основная функция, раскрытая в настоящее время Харбором, — это вывод ИИ, а не полное обучение больших моделей. Вывод в основном включает в себя загрузку обученной модели и генерацию ответов, тогда как обучение требует множества дополнительных вычислений, синхронизации градиента и операций обновления параметров. Существуют очевидные различия в требованиях к аппаратному обеспечению и системам связи.
Эта технология не означает, что любые два компьютера Mac могут напрямую сформировать высокопроизводительный кластер искусственного интеллекта. Согласно существующим описаниям продуктов, функция объединения памяти нескольких компьютеров опирается на Thunderbolt 5, поэтому только компьютеры Mac, оснащенные совместимыми интерфейсами, могут использовать этот метод подключения. Для старых устройств, не поддерживающих Thunderbolt 5, в настоящее время нет доказательств того, что Harbor предоставит такие же возможности кластеризации.
Если Harbour наконец будет официально запущен, это будет означать, что Apple начнет более непосредственно участвовать в местном рынке программного обеспечения для инфраструктуры искусственного интеллекта. В прошлом Apple в основном предоставляла аппаратную и системную основу для сторонних инструментов разработки искусственного интеллекта через чипы Apple Silicon и macOS; в то время как Harbor может позволить Apple предоставить полный набор решений, от загрузки и развертывания модели до работы на нескольких машинах.
Эта модель имеет практическую привлекательность для предприятий, которые хотят использовать ИИ внутри своей внутренней сети и избежать утечки конфиденциальных данных с локальных устройств. Тем не менее, Apple или Claris все еще должны сообщить более подробную информацию о том, какие модели Harbour в конечном итоге может поддерживать, сколько компьютеров Mac может сформировать кластер, какова фактическая производительность вывода и будет ли она использовать модель зарядки.
Комментарии