«Это разговор, который у меня был с Цукербергом в Метавселенной. Физически я нахожусь за сотни миль от Марка, но чувствую, что нахожусь с ним лицом к лицу. Поскольку наши изображения моделируются с помощью фототочных 3D-моделей, эта технология потрясающая! Я думаю, именно так люди будут общаться в Интернете в будущем», — сказал ЛексФридман.
Вчера самым большим хитом в социальных сетях стал удаленный разговор между ученым Массачусетского технологического института (MIT) Лексом Фридманом и генеральным директором Meta Марком Цукербергом. Видео их часового интервью в метавселенной быстро набрало десятки миллионов просмотров.
Теперь, в метавселенной, наши образы могут быть почти такими же, как реальные люди, от деталей всего тела до мимики и движений, это настолько естественно, что поражает.
Итак, в реальном мире нам нужно уделять внимание управлению выражениями:
Эффект настолько реален, что заставляет людей чувствовать себя некомфортно.
Во время «Первого разговора о Метавселенной» на подкасте LexFridman Цукерберг продемонстрировал новый аватар виртуальной реальности Meta Codec, который использует технологию сканирования для создания 3D-модели лица пользователя, которая затем управляется реализацией машинного обучения. Во время разговора новая гарнитура будет распознавать выражения лица пользователя и в реальном времени отображать их на 3D-аватаре для формирования действий.
Цукерберг сказал о разговоре о Metaverse: «Платформа, по сути, отправляет закодированную версию вашего изображения по сети таким образом, что пропускная способность еще более эффективна, чем передача видео».
Конечно, в метавселенной вы также можете настроить свое изображение, например изменить освещение:
В отличие от оригинальных аватаров Meta, которые высмеивались как безногие, тупоглазые и неудобные, аватары нового поколения кажутся чрезвычайно реальными, имеют незначительную задержку и позволяют вам почувствовать, что вы находитесь с другими людьми в виртуальном мире.
«Это лежит в основе концепции дополненной реальности, которая должна обеспечить ощущение присутствия, где бы вы ни находились», — сказал Цукерберг.
Все это, очевидно, увеличивает нагрузку на оборудование рендеринга. Во время разговора и Цукерберг, и Фридман были в последней версии QuestPro со встроенными функциями отслеживания лица и глаз. Следует отметить, что это не Quest3, выпущенный несколько дней назад. QuestPro может быть официально выпущен не раньше 2025 года.
Codec Image требует сканирования лица пользователя для создания виртуальной трехмерной модели.
Интервью Цукерберга было в метавселенной, и содержание разговора тоже было в метавселенной. В ходе часовой беседы Цукерберг рассказал о метавселенной, дополненной реальности, больших моделях и других темах.
Цукерберг сказал, что на самом деле большая часть общения между людьми осуществляется не посредством языка, а посредством таких деталей, как выражения. Meta пытается использовать больше мультяшных аватаров для передачи выражений лиц, обеспечивая реалистичный опыт и в то же время создавая определенное ощущение реальности.
Он предположил, что пользователи могут редактировать своих виртуальных двойников, чтобы отображать более преувеличенные эмоции, и пошутил, что может использовать технологию аватаров, чтобы изменить свою знаменитую невозмутимую манеру речи.
Какими бы впечатляющими ни были аватары, может пройти некоторое время, прежде чем они начнут широко использоваться.
Важно отметить, что цифры, показанные в этом интервью, были созданы с использованием современного многочасового сканирования с использованием сотен камер, что в настоящее время недосягаемо для среднего потребителя.
Но Цукерберг сказал в интервью, что план Меты состоит в том, чтобы позволить людям очень быстро использовать свои смартфоны для сканирования.
«Вы просто берете свой телефон и трясете его перед собой в течение нескольких минут, говорите несколько слов, делаете несколько выражений… и тогда ИИ сможет произвести что-то того качества, которое мы имеем сейчас», — сказал Цукерберг LexFridman.
Цукерберг заявил, что Meta планирует интегрировать эту технологию в свои продукты в течение следующих нескольких лет.
Текущие реалистичные прогнозы являются значительным улучшением по сравнению с мультяшными аватарами, используемыми в бесплатной VR-игре Meta и социальной платформе HorizonWorlds.
Селфи из метавселенной Цукерберга.
В прошлом году Цукерберга высмеяли в социальных сетях, когда он опубликовал селфи своего аватара в Метавселенной возле виртуальной Эйфелевой башни, а комментаторы сравнили изображение с видеоигрой 1990-х годов. Цукерберг тогда признал, что аватар был «простым».
Неожиданно всего за год технологии значительно улучшились.
Как посетовал во время интервью ученый, занимающийся искусственным интеллектом Лекс Фридман: «Я действительно не знаю, как описать это чувство. Как будто мы находимся в одной комнате, как в будущем».
Продолжающиеся усилия Цукерберга меняют восприятие Horizon Worlds. Он рассказал ЛексФридману, что реалистичные аватары могут помочь привлечь людей, которых отталкивают образы в Метавселенной. «Люди потрясены этим опытом, но мы получили от людей отзывы о том, что аватары не кажутся такими реалистичными в этой среде».
Очевидно, что сегодняшние возможности метавселенной приведут к огромным изменениям в том, как мы взаимодействуем. По общему признанию, это самая впечатляющая демонстрация проекта Метавселенной Цукерберга за всю историю.
«Оно изменилось, и наше восприятие метавселенной начало меняться» — это эпохальная технология.
Если Meta в ближайшее время достигнет такого эффекта в потребительских товарах, это может стать приложением, которое изменит правила игры.