Модель xAI Илона Маска с открытым исходным кодом теперь доступна. В воскресенье (24 августа) компания xAI объявила, что откроет исходный код своей модели искусственного интеллекта Grok 2.5 и опубликует ее на платформе с открытым исходным кодом Hugging Face. Маск написал в социальной сети X: «Модель Grok 2.5, самая впечатляющая модель xAI за прошлый год, теперь имеет открытый исходный код. Что касается Grok 3, он станет открытым исходным кодом примерно через 6 месяцев.
Маск также написал: «xAI скоро превзойдет любую компанию, кроме Google, а затем превзойдет и Google. Но китайские компании будут самыми сильными конкурентами, потому что они обладают гораздо большей властью, чем Соединенные Штаты, и очень сильны в производстве оборудования».
Выпуск Grok 2.5 с открытым исходным кодом можно рассматривать как выполнение Маском своего первоначального обещания. Когда в августе прошлого года был выпущен Grok 2.5, Маск публично заявил, что при создании новой версии Grok предыдущая версия будет с открытым исходным кодом.
С последней моделью Grok-4, выпущенной в июле, пришло время Маску открыть исходный код версии более крупной прошлогодней модели. В июле этого года компания xAI выпустила последнюю модель вывода серии Grok 4, которая разделена на Grok 4 и Grok 4 Heavy и поддерживает контекстное окно объемом до 256 000 токенов.
Судя по уровню Grok 2.5, его общий объем параметров достигает 905 миллиардов, из которых 136 миллиардов параметров активируются каждый раз во время вывода, что делает его одной из самых мощных моделей с открытым исходным кодом на данный момент; он также поддерживает длину контекста до 131 100 токенов, что позволяет одновременно обрабатывать длинные документы и историю разговоров; он также использует смешанную экспертную архитектуру (MoE), которая может значительно расширить масштаб модели без увеличения огромных вычислительных затрат.
Что касается разрешений на открытый исходный код, xAI заявила, что разрешено только некоммерческое и соответствующее требованиям коммерческое использование, но его использование для обучения других базовых моделей запрещено. В xAI уточняют, что коммерческое использование возможно только в том случае, если годовой доход дочерней компании составляет менее одного миллиона долларов США. Коммерческое использование, превышающее этот порог, требует отдельной лицензии от xAI.
В ответ инженер по искусственному интеллекту Тим Келлог назвал лицензию Грока «индивидуальной версией», поскольку она содержит некоторые антиконкурентные положения.