Сегодня Tencent официально выпустила и открыла исходный код модели Hunyuan 3D World Model 2.0 (HY-World 2.0). Согласно отчетам, HY-World 2.0 — это мультимодальная модель мира, которая может понимать различные типы входных данных, таких как текст, изображения и видео, а также автоматически генерировать, реконструировать и моделировать трехмерные миры. Он также поддерживает экспорт многоформатных 3D-ресурсов (Mesh/3DGS/облака точек и т. д.) и может быть легко связан с существующими игровыми рабочими процессами для быстрого создания игровых карт и прототипов уровней.
Сообщается, что в отличие от Google Genie 3 и Hunyuan World Model 1.5, которые могут генерировать только видеофайлы, World Model 2.0 еще более практична: она может напрямую генерировать файлы 3D-ресурсов, которые можно редактировать дважды. Эти сгенерированные 3D-ресурсы можно напрямую импортировать в производство игр или в механизмы моделирования для достижения действительно игровых и полезных результатов.
В настоящее время World Model 2.0 запущена на официальном сайте Tencent Hunyuan 3D Creation Engine, и пользователи могут подать заявку на ее использование.
Hunyuan World Model 2.0 поддерживает множественный ввод текста, изображений и видео. Введите фрагмент текста или изображение, и модель сможет точно проанализировать сложную семантику и сгенерировать множество перемещаемых миров одним щелчком мыши. По сравнению с моделью Hunyuan World Model 1.0 архитектура модели 2.0 была полностью обновлена, а точность и реалистичность изображения значительно улучшены. Пользователи также могут настраивать стиль и по требованию создавать реалистичные, комические или игровые 3D-пространства. После завершения генерации пользователи могут импортировать ресурсы в такие движки, как Unity и UE, для вторичного редактирования, что значительно снижает порог создания игровой карты.
Модель также поддерживает символьный режим. Пользователи могут управлять персонажами, чтобы свободно исследовать улицы, здания и сцены без ограничений по времени и физических столкновений, как и в игре. В то же время World Model 2.0 поддерживает воспроизведение реальных 3D-сцен. Пользователи могут ввести видео или многовидовое изображение реального пространства, а модель может построить высокоточный цифровой двойник пространства. Основанная на обновленной архитектуре WorldMirror 2.0, модель поддерживает ввод изображений и видео любого размера, одновременно прогнозирует плотные облака точек, многовидовые карты глубины, нормали поверхности и параметры камеры, генерирует их один раз и может постоянно повторно использовать. В будущем на основе этой возможности можно будет быстро создавать и восстанавливать предварительный просмотр внутренней отделки, городского планирования, защиты культурного наследия и других сценариев.
Hunyuan World Model 2.0 использует 3D в качестве основной оси и достигает эффектов генерации уровня SOTA за счет унифицированной архитектуры пространственного понимания, генерации и реконструкции. По сравнению с другими моделями мира, Hunyuan World Model 2.0 лучше справляется с полнотой сцены (стороны и задняя часть объектов) и соответствием входным изображениям. Гибридное представление 3DGS и Mesh, созданное Hunyuan, также позволяет пользователям включать символьный режим для взаимодействия с реальными столкновениями объектов.
