Сингапурский стартап Acrab недавно выпустил ИИ-чип под названием GELIX 1, стремясь бросить вызов статусу Apple Mac mini и других продуктов в области ИИ-вычислений для небольших настольных компьютеров. Этот чип, изготовленный по 5-нанометровому техпроцессу, оснащен 20-ядерным процессором ARM и многоядерным нейронным процессором (NPU) и имеет унифицированную пропускную способность памяти 273 ГБ/с, аналогичную Apple M4 Pro.
В тесте, официально объявленном Acrab, когда GELIX 1 запускал модель Gemma 26B (контекстное окно на 40 000 токенов), скорость предварительного заполнения достигла 1416 токенов в секунду. Для сравнения, Mac mini, оснащенный чипом M4 Pro, в тех же условиях выполнял всего 188 токенов в секунду. Однако эти данные эталонных испытаний в настоящее время все еще находятся на стадии самотестирования компании и требуют независимой проверки сторонним агентством.
Помимо производительности, Acrab также утверждает, что чип способен запускать крупномасштабные языковые модели, содержащие до 100 миллиардов параметров (100 байт), а занимаемая площадь оборудования эквивалентна Mac mini. Он предназначен для предоставления локализованных решений по вычислительной мощности крупных моделей для пользователей со строгими требованиями к конфиденциальности и задержке. Однако отраслевые аналитики отмечают, что запуск десятков миллиардов или даже сотен миллиардов моделей выдвигает чрезвычайно высокие требования к объему унифицированной памяти (обычно требуется конфигурация 128 ГБ или выше), что может означать, что цена ее high-end версии будет довольно высокой. В настоящее время конкретная цена и время запуска GELIX 1 не объявлены.