Аннотация:
В четверг, 6 ноября, Google официально представила модель генерации видео Gemini Omni 1.2 Flash. Модель поддерживает создание и редактирование 15-секундного видео посредством нескольких раундов диалога. Цена на 30% ниже, чем у предыдущего поколения.
Gemini Omni 1.2 Flash
Google сообщила, что Gemini Omni 1.2 Flash развертывается через Gemini API, Google AI Studio, Google Cloud Console, Flow, Google Vids, приложения Gemini для подписчиков Google AI Ultra и Google Ads. Каждое созданное видео имеет водяной знак с незаметным SynthID, указывающим на его происхождение.
Длительность видеоклипов, генерируемых моделью, теперь можно установить от 3 до 15 секунд вместо предыдущего максимума в 10 секунд. При этом цена генерации видео 720p снижена на 30% до $0,07 в секунду. Пользователи также могут редактировать созданное видео в ходе текущих разговоров.
Одной из его выдающихся функций является то, что Google называет «разговорным редактированием». Пользователи могут постепенно настраивать сгенерированное видео посредством нескольких раундов диалога, например, меняя фон, настраивая освещение или изменяя соотношение сторон, без регенерации всего видео. Google утверждает, что эта функция поддерживает редактирование полных 15-секундных видеороликов.
Ожидается, что в сочетании с иерархическими рабочими процессами эта функция также позволит снизить производственные затраты. Пользователи сначала создают черновой вариант с разрешением 360p или 720p, затем корректируют отдельные детали посредством последующего редактирования и, наконец, только повышают конверсию окончательного фильма, чтобы увеличить разрешение до 1080p или 4K.
Google также заявила, что способность модели следовать справочным материалам также значительно улучшилась. Согласно официальному объявлению, пользователи могут вводить изображения персонажей, фотографии продуктов, короткие видеоролики продолжительностью до 3 секунд и аудиоподсказки. Модель может сохранять единообразие лиц персонажей, одежды, текста на упаковке продукта и соответствие цветов бренда под разными углами съемки.
Возможность следить за материалом значительно улучшена
В качестве примера Google приводит сегмент виртуальной примерки: используя всего одну фотографию модели и изображения трех комплектов одежды, модель может создать 15-секундную непрерывную сцену, включающую поворот на 360 градусов, сохраняя при этом индивидуальность модели, а также крой и драпировку каждого предмета одежды.
В то же время была улучшена общая визуальная согласованность. В Google заявили, что по сравнению с моделью предыдущего поколения новая модель имеет меньше визуальных отклонений и деформаций при движении экрана и переключении объектива.
Кроме того, Gemini Omni 1.2 Flash может генерировать более плавную и естественную разговорную речь, эффект синхронизации формы рта и речи более точен, а также имеет возможность различать нескольких разных говорящих.
Модель также лучше справляется со сложными, непрерывными движениями камеры, такими как снимки полета дрона с FPV или снимки с быстрым зумом и сильным визуальным эффектом, и значительно уменьшает ненужные переходы.
Комментарии