Аннотация:
Sony PlayStation 5 изначально разрабатывалась как консоль для видеоигр, но проект разработки с открытым исходным кодом пытается найти другое применение этому игровому устройству: запуск локальных моделей большого языка с искусственным интеллектом. Преодолев системные ограничения PS5, разработчики перенесли на консоль механизм вывода с открытым исходным кодом llama.cpp и в дальнейшем использовали его графический процессор для запуска больших моделей. Последняя демонстрация показывает, что взломанная обычная PS5 уже может запускать модель Qwen 3.8 с 27 миллиардами параметров. При использовании низкобитового квантования скорость генерации текста достигает около 20 токенов в секунду.
Это означает, что хост, изначально использовавшийся для запуска игр, также может выступать в качестве локального сервера модели большого языка, не полагаясь на облачные службы искусственного интеллекта. Пользователи могут получить доступ к услугам на хосте через компьютер или мобильный телефон в той же локальной сети и поговорить с моделью. Однако это не функция, официально предоставленная Sony, а экспериментальное приложение, основанное на уязвимостях системы, неофициальном программном обеспечении и результатах разработки сообщества.
Проект называется PS5LM и был инициирован разработчиком GitHub Cobanov. Основная идея проекта заключается не в написании новой структуры рассуждения искусственного интеллекта с нуля, а в трансплантации инструмента с открытым исходным кодом llama.cpp, который широко используется для запуска локальных больших моделей, на платформу PS5, а затем постепенное решение проблем совместимости в хостовой операционной системе, распределении памяти и вычислительном интерфейсе графического процессора.
В PS5 используется специальный процессор AMD. Процессор использует архитектуру Zen 2 и имеет 8 ядер; Графический процессор основан на архитектуре AMD RDNA. Хост оснащен унифицированной памятью GDDR6 объемом 16 ГБ, а центральный и графический процессоры должны совместно использовать эти ресурсы. Хотя PS5 не является устройством, специально предназначенным для вывода искусственного интеллекта, ее графический процессор и видеопамять с высокой пропускной способностью обеспечивают аппаратную основу для запуска моделей на местном языке.
PS5LM изначально использовал относительно простой режим работы, позволяющий языковой модели выполнять логические выводы через центральный процессор и использовать собственный браузер PS5 для обеспечения интерфейса чата. Пользователи могут загрузить модель на хост, вводить вопросы с помощью контроллера DualSense и экранной клавиатуры, а затем просматривать ответы, сгенерированные моделью.
Эта ранняя сборка продемонстрировала способность PS5 запускать большие языковые модели, но быстро столкнулась с ограничениями по производительности и памяти. Поскольку программа выполняется в виде полезной нагрузки, объем используемой памяти ограничен системной средой. Первоначально стабильно могут работать только модели меньшего размера. Документы проекта показывают, что ранняя версия в основном поддерживает модели с размерами параметров примерно 0,8B и 2B, при этом скорость генерации модели 2B составляет примерно 9 токенов в секунду.
Для разработчиков, которые хотят запускать более крупные модели на PS5, недостаточно просто позволить программе работать на процессоре. Чтобы полностью использовать производительность оборудования хоста, механизм вывода должен иметь возможность вызывать графический процессор и получать достаточно места в памяти для хранения параметров модели, кэша и других текущих данных.
Настоящий прорыв произошел благодаря ускорению графического процессора. Разработчики также реализовали собственную среду запуска приложений на PS5, и через графический драйвер и вычислительный интерфейс Vulkan, разработанные сообществом, llama.cpp может вызывать графический процессор хоста для выполнения вычислений нейронной сети. По сравнению с более ранним решением, которое могло полагаться только на ЦП, это изменение не только повышает скорость вывода, но также позволяет программе получить больше доступной памяти, чтобы попытаться запустить более крупные модели.
В ходе последней демонстрации PS5 успешно запустила модель Qwen 3.8 27B, выпущенную командой Alibaba Tongyi Qianwen. Модель имеет 27 миллиардов параметров и использует гибридную архитектуру внимания. Целью разработки является обеспечение четкого понимания языка, рассуждений и возможностей генерации кода при относительно ограниченных аппаратных ресурсах.
Однако PS5 не загружает 27 миллиардов параметров непосредственно в память с полной точностью. Чтобы адаптировать модель к аппаратным условиям хоста, разработчики использовали технологию низкобитного квантования для сжатия параметров модели в меньшее пространство для хранения. В демонстрации используются квантованные версии, такие как IQ2_XXS, размер файла модели составляет от нескольких до 7 ГБ, а конкретный размер зависит от схемы квантования.
Количественная оценка — ключевая технология при работе с большими локальными моделями. Обычно параметры модели сохраняются в формате данных более высокой точности, но это требует много памяти. Сжимая параметры до значений меньшей разрядности, вы можете значительно снизить требования к памяти и уменьшить объем передачи данных во время вывода. Платой за это будет потеря некоторой точной информации, что может повлиять на качество ответов модели, способность к рассуждению или выполнение конкретных задач. Таким образом, возможность запуска модели с 27 миллиардами параметров не означает, что PS5 может запустить модель того же размера с полной точностью.
Данные тестирования, опубликованные разработчиком, показывают, что при использовании графического процессора для выполнения вывода скорость генерации текста Qwen 3.8 27B может достигать около 20 токенов в секунду. Токен — это базовая единица для больших языковых моделей для обработки текста. Это не строго эквивалент китайскому иероглифу или английскому слову. Следовательно, 20 жетонов в секунду нельзя просто понимать как генерацию 20 китайских иероглифов в секунду. Тем не менее, это достаточно быстро, чтобы интерактивные беседы имели некоторую практичность, а не просто техническую демонстрацию, доказывающую, что модель может начать работу.
Помимо модели Qwen, этот же проект также объявил результаты испытаний других моделей. Gemma 4 E4B генерирует примерно 61 токен в секунду, а Llama 3.2 3B достигает примерно 124 токенов в секунду. Маленькие модели имеют меньше параметров, требуют меньше вычислений и считывания данных и, следовательно, обычно обеспечивают более высокую скорость генерации.
Эти результаты по-прежнему следует рассматривать как результаты тестов, опубликованные разработчиками для конкретных конфигураций программного и аппаратного обеспечения, а не как отраслевые тесты, проверенные на единой тестовой платформе. Различные модели имеют разные шкалы параметров, методы количественной оценки, длину контекста и вычислительные задачи. Об их всеобъемлющих возможностях нельзя судить исключительно по количеству токенов, генерируемых в секунду.
Проект также демонстрирует возможность превращения PS5 в AI-сервер локальной сети. Запустив на хосте сервисный интерфейс, совместимый с OpenAI API, другие устройства могут отправлять запросы по той же сети и получать ответы, сгенерированные моделью. Таким образом, пользователям не всегда нужно смотреть на экран телевизора для управления консолью, а также можно вызвать локальную модель PS5 через компьютер или мобильный телефон.
Этот подход привлекателен для пользователей, которые хотят развернуть локальные службы искусственного интеллекта в своих домашних сетях. Когда модель работает локально, контент ежедневных разговоров в принципе не нужно отправлять в сторонние облачные службы искусственного интеллекта, и пользователям не нужно платить сборы за облачные выводы в зависимости от количества вызовов. Однако фактическая защита конфиденциальности по-прежнему зависит от установленного программного обеспечения, конфигурации сети и наличия у устройства других способов передачи данных. Система не может считаться абсолютно безопасной, просто «работая локально».
В то же время разработка PS5LM по-прежнему опирается на ряд неофициальных технологий. Пользователям необходима PS5, на которой можно запустить соответствующую программу взлома и использовать совместимую системную прошивку и инструменты загрузки полезной нагрузки. Применимый диапазон встроенного ПО, указанный в проектном документе, составляет от 7.00 до 13.60, но конкретные функции, производительность и совместимость могут различаться в зависимости от модели хоста и версии программного обеспечения.
Взлом консоли не означает, что все пользователи PS5 смогут напрямую установить программу. Обычную розничную версию PS5 нельзя загружать и запускать PS5LM через PlayStation Store, как обычные игры. Пользователям необходимо сначала решить такие проблемы, как права доступа к системе, неофициальная загрузка программ и операционная среда, что по-прежнему представляет собой определенный порог для пользователей, не знакомых со взломом хостов и разработкой программного обеспечения.
Кроме того, изменение хост-системы может создать угрозу безопасности и стабильности, а также может повлиять на использование онлайн-сервисов и привести к нарушению соответствующих условий обслуживания Sony. Разработчики рекомендуют проводить исследования только на устройствах, которыми они владеют или авторизовались. Для пользователей консоли, которые в основном используют ее для обычных игр, особенно тех, кто часто подключаются к PlayStation Network, нет необходимости опрометчиво взламывать устройство только для того, чтобы запустить локальный ИИ.
С точки зрения аппаратного обеспечения значение этого эксперимента заключается не только в том, чтобы позволить игровой консоли отвечать на вопросы. Это также показывает, что графический процессор и высокоскоростная видеопамять, установленные в игровом оборудовании потребительского уровня, также могут выполнять часть работы, обычно выполняемой специализированным вычислительным оборудованием искусственного интеллекта, после соответствующей адаптации программного обеспечения.
На вывод большой языковой модели часто существенно влияют объем памяти и пропускная способность. Когда модель генерирует текст, ей необходимо постоянно считывать большое количество параметров и поддерживать контекстно-зависимые кэши. Унифицированная архитектура памяти PS5 позволяет центральному и графическому процессору совместно использовать ресурсы высокоскоростной памяти, но сама система также должна занимать часть ее, поэтому доступное для моделей пространство намного меньше номинальной емкости в 16 ГБ.
Вот почему разработчики должны одновременно решать такие проблемы, как квантование, управление памятью и вычислительные интерфейсы графических процессоров. Наличие достаточно мощного графического процессора не гарантирует бесперебойной работы модели; то, поддерживается ли архитектура модели, может ли драйвер выполнять необходимые вычислительные операции и может ли система предоставить достаточно памяти для программы вывода, — все это повлияет на конечный результат.
Этот результат также дает интересный ориентир для выбора местного оборудования ИИ. Традиционно пользователям, которые хотели запускать более крупные языковые модели дома, часто приходилось покупать компьютер с дискретной видеокартой и доплачивать за объем памяти и общую стоимость машины. PS5 уже имеет относительно мощный графический процессор и высокоскоростную память, поэтому разработчики надеются доказать, что существующее игровое оборудование можно повторно использовать без необходимости приобретать специальную рабочую станцию с искусственным интеллектом.
Но это не значит, что PS5 может полностью заменить компьютеры с искусственным интеллектом. Его аппаратные ресурсы по-прежнему ограничены фиксированными конфигурациями, размером системы и неофициальными программными средами. По сравнению с компьютерами с большей графической памятью, зрелыми драйверами и богатыми инструментами разработки, PS5 требует больше работы по адаптации для запуска больших моделей, и пользователи не могут свободно обновлять видеокарту или расширять графическую память, как обычные компьютеры с искусственным интеллектом.
С практической точки зрения, этот тип проекта в настоящее время больше подходит для энтузиастов технологий, разработчиков открытого исходного кода и пользователей, заинтересованных в локальном искусственном интеллекте для изучения моделей рассуждений, вычислений на графических процессорах и встроенных операционных сред. Для предприятий, которым необходимо стабильно запускать службы искусственного интеллекта на производственном уровне, лучше подходят выделенные серверы с графическим процессором или компьютеры, оптимизированные с помощью зрелых стеков программного обеспечения.
Развитие PS5LM также отражает тенденцию в экосистеме искусственного интеллекта с открытым исходным кодом: платформы вывода моделей и модели открытого веса постепенно снизили порог для запуска искусственного интеллекта, в то время как разработчики сообщества продолжают пытаться портировать эти инструменты на разные аппаратные платформы. Раньше игровые консоли рассматривались в первую очередь как закрытые развлекательные устройства; теперь, благодаря усилиям сообществ, занимающихся взломом и реверс-инжинирингом, они также стали платформами для изучения вычислений на графических процессорах и собственных приложений искусственного интеллекта.
В целом, это типичная техническая попытка позволить взломанной PS5 запускать большую языковую модель с 27 миллиардами параметров со скоростью около 20 токенов в секунду. Он демонстрирует потенциальное использование аппаратного обеспечения игровых консолей, а также доказывает, что посредством адаптации программного обеспечения и сжатия моделей языковые модели определенного масштаба можно запускать на нетрадиционных устройствах искусственного интеллекта. Однако это достижение по-прежнему является проектом сообщества, опирающимся на взломанную среду, и между ним и официальными функциями, которые обычные пользователи могут использовать без сложных операций, все еще существует значительная дистанция.
Комментарии