Аннотация:
20 ноября компания Tencent Hunyuan анонсировала официальную модель Hy4 с открытым исходным кодом и одновременно выпустила системную карту Hy4, раскрыв метод оценки безопасности модели, результаты испытаний и известные риски. В настоящее время разработчики могут получать соответствующие модели и развертывать их через GitHub, Hugging Face, ModelScope и GitCode.

Общедоступная информация показывает, что Hy4 представляет собой мультимодальную модель, использующую гибридную экспертную архитектуру, которая поддерживает понимание текста, изображений и видео. Общее количество параметров тела языковой модели составляет 770 миллиардов, каждый Токен активирует примерно 49 миллиардов параметров и поддерживает контекстное окно объемом до 1 миллиона Токенов. В дополнение к стандартной модели инструкций эта открытая версия также включает модель квантования FP8 и предварительно обученную базовую модель.
Системная карта, выпущенная вместе с весами модели, в основном используется для объяснения оценки безопасности Hy4 и предоставляет разработчикам справочную информацию, позволяющую понять границы возможностей модели и потенциальные риски. Tencent Hunyuan заявила, что этот шаг продолжает практику одновременного раскрытия информации об оценке безопасности в процессе выпуска модели.
С запуском Hy4 серия больших языковых моделей Hy, выпущенная в настоящее время Tencent Hunyuan, стала с открытым исходным кодом, включая предварительные версии Hy3, Hy3, предварительные версии Hy4, флэш-версии Hy4 и Hy4. Среди них флэш-память Hy4 ранее открывала широкие возможности моделей и позиционируется в сценариях приложений, требующих высокой эффективности вывода и затрат на развертывание.
Комментарии