Аннотация:
27 октября Google выпустила Genie 4, новое поколение модели мира с искусственным интеллектом, которая еще больше повышает реалистичность интерактивных сред, создаваемых искусственным интеллектом, а также добавляет возможность изменять сцены в реальном времени и автоматически генерировать звук. В отличие от традиционных моделей генерации изображений, которые в основном выводят статические изображения или видео, Genie 4 может создавать виртуальный мир, в котором пользователи могут участвовать и взаимодействовать. Ожидается, что связанные технологии будут применяться в таких областях, как разработка игр, производство фильмов и телепередач, а также обучение роботов.
На этот раз Genie 4 в основном содержит четыре обновления: создание более реалистичной виртуальной среды, позволяющей пользователям изменять сцену в реальном времени с помощью подсказок на естественном языке, автоматическое добавление звука в сгенерированный мир и использование Flash-модели Google Gemini 3.8 для облегчения процесса моделирования. Кроме того, новая модель может генерировать интерактивные впечатления продолжительностью примерно до двух минут, что вдвое превышает продолжительность, поддерживаемую Genie 3 предыдущего поколения.
Модель мира — одно из важных направлений исследований искусственного интеллекта в последние годы. Традиционный генеративный ИИ обычно генерирует изображения, видео или другой контент на основе текстовых подсказок, тогда как модели мира идут еще дальше и пытаются изучить пространственные отношения в окружающей среде, модели движения объектов и связь между действиями и результатами. Контент, создаваемый моделью, больше не предназначен только для просмотра пользователями, он может продолжать меняться в зависимости от действий пользователя.
Например, в виртуальной среде, созданной искусственным интеллектом, пользователи могут управлять перемещением персонажа, изменять направление обзора или взаимодействовать с объектами на сцене. Модель должна непрерывно генерировать последующие изображения на основе этих операций и максимально поддерживать согласованность среды. Такие возможности имеют потенциальную ценность для игр, моделирования роботов и обучения в сложных условиях.
Важным улучшением Genie 4 является то, что пользователи могут изменять виртуальный мир с помощью инструкций на естественном языке во время игры. Вместо того, чтобы выходить из текущей сцены, переписывать слова-подсказки и генерировать их с нуля, пользователи могут напрямую попросить модель изменить определенные элементы в среде, чтобы быстро скорректировать дизайн сцены.
Эта функция может быть особенно полезна разработчикам игр, а также командам по производству фильмов и телевидения. Прежде чем официально инвестировать большие ресурсы в производство, создатели могут использовать ИИ для создания предварительных прототипов сцен, опробовать различные макеты окружения, визуальные стили и методы взаимодействия, а затем решить, какие решения достойны дальнейшего развития.
При производстве фильмов этот тип технологии также можно использовать в предварительном просмотре. Производственные группы могут быстро создавать виртуальные декорации для изучения движений камеры, траекторий персонажей и эффектов окружающей среды без необходимости немедленно создавать реальные декорации или сложные 3D-активы.
Genie 4 также добавляет возможности генерации звука. В то время как предыдущие модели мира фокусировались в основном на визуальной среде и процессах взаимодействия, новая модель может добавлять звук к генерируемым сценам, делая виртуальный опыт более полным. Аудио может помочь смоделировать атмосферу окружающей среды, а также обеспечить предварительные звуковые эффекты для прототипов игр.
Однако автоматическое создание звука не означает, что модель может полностью заменить профессиональное производство звуковых эффектов. Для проектов, требующих точного контроля ритма, пространственного позиционирования, диалогов персонажей и синхронизированной взаимосвязи между звуком и действием, по-прежнему необходимы дальнейшие ручные настройки и поддержка профессиональных инструментов.
Google также заявила, что Genie 4 можно использовать для создания сценариев обучения роботов. Роботы учатся и тестируют действия в реальном мире, что часто связано с затратами на оборудование, ограничениями на месте и потенциальными рисками для безопасности. Если на основе модели мира можно создать интерактивную моделируемую среду, исследователи смогут проверить, как роботы движутся, захватывают объекты и реагируют на различные условия окружающей среды в виртуальных сценах.
Ключ к этому типу моделирования заключается не только в том, чтобы виртуальная сцена выглядела реалистично, но и в максимально точном представлении пространственных отношений, моделей движения и последствий действий объектов. Только когда моделируемая среда может более надежно отражать физические ограничения в реальном мире, стратегии, изученные роботом в виртуальной среде, с большей вероятностью будут перенесены на реальное устройство.
Что касается технической архитектуры, Genie 4 использует Gemini 3.8 Flash для облегчения процесса моделирования. Google надеется использовать возможности этой модели для улучшения логической связности и интерактивной производительности в создаваемой среде. Однако в этом отчете компания не раскрыла достаточно подробных технических показателей, поэтому пока невозможно точно измерить общее улучшение ее производительности по сравнению с моделью предыдущего поколения.
Важным изменением в этом обновлении также является увеличение времени сборки. Genie 3 создавал интерактивные впечатления, которые длились около одной минуты, а Genie 4 увеличил это время примерно до двух минут. Хотя две минуты по-прежнему весьма ограничены для полноценной игры или сложной симуляции, они уже предоставляют больше возможностей для исследования для быстрого прототипирования и коротких интерактивных экспериментов.
В то же время Google также признал, что по мере увеличения продолжительности моделирования в виртуальной среде все еще могут возникать несоответствия. Например, детали сцены могут постепенно меняться, а некоторые объекты не всегда могут сохранять исходное положение и состояние. Это связано с основной трудностью моделей мира: модели необходимо не только генерировать следующий кадр, который выглядит разумным, но также поддерживать стабильную, непрерывную среду в течение длительного периода времени.
Если объект исчезает после того, как пользователь покидает сцену, или внезапно меняет положение при повторном входе в сцену, весь процесс будет выглядеть ненадежным, даже если само изображение достаточно реалистично. Таким образом, сохранение объектов, пространственная память и долговременная согласованность состояний по-прежнему являются ключевыми возможностями, которые необходимо продолжать совершенствовать в моделях мира.
Что касается графика выпуска, Genie 4 в настоящее время открыт для избранных тестировщиков в виде предварительной исследовательской версии. Google заявила, что в будущем она будет доступна подписчикам Google AI Ultra, и открыла список ожидания, чтобы пользователи могли подать заявку на тестирование новой модели через Project Genie.
В настоящее время невозможно независимо судить, насколько продвинулась новая модель по сравнению с Genie 3 предыдущего поколения. Публичные демонстрации на данном этапе в основном исходят от представителей Google. Фактический пользовательский опыт, производительность долгосрочного взаимодействия и стабильность модели в сложных сценариях все еще требуют проверки последующими тестами.
С точки зрения направления развития отрасли Genie 4 представляет собой расширение генеративного искусственного интеллекта от создания контента до моделирования среды и интерактивного опыта. Будущие системы искусственного интеллекта смогут не только генерировать изображение или видео на основе подсказки, но также могут напрямую создавать виртуальное пространство, которое можно будет исследовать, изменять и с которым можно взаимодействовать.
Однако, чтобы эта технология действительно стала практическим инструментом в разработке игр, обучении роботов или производстве фильмов и телепередач, еще необходимо решить такие проблемы, как долгосрочная стабильность, точность физического моделирования, скорость интерактивного реагирования и производственные затраты. Genie 4 в настоящее время больше похож на важный экспериментальный прогресс в этом направлении, чем на зрелый продукт, способный заменить традиционные игровые движки или профессиональные инструменты для 3D-производства.
Запросить доступ к Genie 4 в Project Genie:
https://docs.google.com/forms/d/e/1FAIpQLSeD73fWVFVUXII27wIaSjdCZCesuGEb5-iZaBSTUpjkX98S0g/viewform?usp=send_form
Комментарии