Kimi K3 официально имеет открытый исходный код: одновременно публикуются 2,8 триллиона параметров весов моделей и технические отчеты.

Вчера поздно вечером, 28 июля, Moonshot AI объявила, что откроет исходный код весов модели Kimi K3, опубликует технический отчет и одновременно откроет три ключевые инфраструктурные (Infra) технологии: MoonEP, FlashKDA и AgentEnv. В этом разделе рассматриваются модели, методы обучения и базовые системы обучения. Разработчики могут загружать модели для развертывания и вторичной разработки. Конкретная область использования должна соответствовать лицензии Kimi K3.

Согласно официальному представлению, Kimi K3 использует гибридную экспертную архитектуру (MoE) с общим масштабом параметров 2,8 триллиона, собственными возможностями визуального понимания и поддержкой 1 миллиона контекстных окон токенов. По сравнению с Кими К2.5 предыдущего поколения шкала параметров Кими К3 увеличена примерно в 3 раза. В The Dark Side of the Moon заявили, что при ограниченных вычислительных ресурсах и использовании таких технологий, как Kimi Delta Attention, Attention Residuals и MoonEP, эффективность масштабирования ее модели увеличилась примерно в 2,5 раза.

Одновременно с весами модели также выпущен технический отчет Kimi K3. Согласно общедоступному контенту, в отчете раскрыты многие технические детали обучения модели и проектирования архитектуры, включая гибридную структуру внимания KDA и Gated MLA, механизм экспертной маршрутизации Stable LatentMoE, решение для обучения визуальному кодировщику MoonViT-V2, а также методы обучения и оценки после модели. Среди них модель использует дизайн MoE с 896 экспертами по маршрутизации и 16 экспертами, активируемыми каждым токеном, и охватывает обучение и оценку множества способностей, таких как общее мышление, агент и программный агент.

Помимо самой модели, Dark Side of the Moon также объявила об открытом исходном коде ключевых инфраструктурных технологий, поддерживающих тренировки Кими К3. Среди них MoonEP — набор высокопроизводительных экспертных библиотек параллельной связи для крупномасштабных моделей МО; FlashKDA — это Кими Дельта. Для оператора высокопроизводительных вычислений, соответствующего Attention, официальные данные показывают, что скорость предварительного заполнения на NVIDIA H20 в 1,72–2,22 раза выше, чем базовый уровень флэш-линейного внимания; AgentEnv — это система песочницы агента, совместно разработанная Dark Side of the Moon и KVCache.ai, которая может поддерживать такие возможности, как быстрые снимки, восстановление и форк, и используется в крупномасштабных средах обучения агентов.

В The Dark Side of the Moon заявили, что это открытие направлено на содействие развитию экосистемы открытых взвешенных моделей. Он надеется снизить порог развертывания и разработки моделей за счет открытия моделей, методов обучения и базовой инфраструктуры, а также предоставить больше повторно используемых технических ресурсов для сообщества искусственного интеллекта и связанных с ним исследований.