Оглавление:
Meta готовится внедрить фотореалистичные аватары в свои VR-шлемы
Поиск в прошивке указывает на то, что компания Meta близка к тому, чтобы привнести свои фотореалистичные «Codec Avatars» в VR-шлемы Quest.
«Codec Avatars» — это долгосрочный проект исследований и разработок Meta, целью которого является радикальное изменение удаленной коммуникации путем создания по-настоящему убедительных фотореалистичных аватаров, обрабатываемых в реальном времени с помощью шлемов с датчиками отслеживания лица и, в перспективе, очков. Meta впервые анонсировала проект в 2019 году и представила несколько улучшений качества изображения, а также версию для всего тела.
В интервью неясно, производилась ли декодировка и рендеринг аватаров непосредственно на шлеме, или за этим стоял ПК. К обоим шлемам подключен кабель USB-C.
Хотя «Codec Avatars» всегда позиционировался как исследовательский проект, новые данные подсказывают, что этот функционал может вскоре появиться в видах особенностей в VR-шлемах Quest.
Обнаружение функции Codec Avatars в прошивке Meta Quest
Энтузиаст VR по имени Луна обнаружил упоминания о «Codec Avatars», декомпилируя версию 62 прошивки Meta Quest, которая в настоящее время доступна тестировщикам в Публичном тестовом канале.
Ранее таким образом были открыты грядущие функции Quest. Это указывает на то, что Meta работает над интеграцией новой функции в шлемы Quest, но не сообщает, насколько далеко она продвинулась или вообще будет ли представлена. Например, функция «Space Sense» появилась через несколько месяцев после её обнаружения в прошивке, в то время как «Quest Pro» занял более года. А упоминания о интеграции с Discord и облачной функции для VR-streamingа PC «Project Avalanche» были замечены годами, но они так и не были выпущены.
В прошлом году технический директор Meta Эндрю Босуорт сообщил о достигнутом прогрессе в вопросе выпуска «Codec Avatars», но предупредил, что «до релиза еще остались годы».
Возможное будущее Codec Avatars и Meta Quest
Пока не ясно, разрабатывается ли эта функция для существующих VR-шлемов Quest или для будущих Quest Pro 2.
В прошлом году на утечку в The Verge попало собрание, на котором рассматривалась дорожная карта аппаратного обеспечения Meta Quest. Наряду с подробностями о Quest 3 и будущем более дешевом шлеме, который предположительно получит название Quest 3 Lite, дорожная карта упоминала новый шлем Quest Pro «далеко в будущем», который будет включать «Codec Avatars».
Однако возможно, что Meta планирует внедрить «Codec Avatars» в существующие Quest Pro, или даже Quest 2 и Quest 3.
Технологии и качество Codec Avatars
В 2021 году исследователи Meta демонстрировали значительно более эффективный метод декодирования «Codec Avatars». На Quest 2 новый метод мог отображать одного «Codec Avatar» на полной сцене с частотой 72FPS, троих «Codec Avatars» примерно с 63FPS, или пятерых примерно с 43FPS.
Но как могут быть использованы эти аватары на Quest 2 и Quest 3, которым не хватает как отслеживания лица, так и взгляда? Исследователи Meta также продемонстрировали версию «Codec Avatars», которая не требует отслеживания лица, и недавно даже версию, которая не требует никакого отслеживания. Вместо этого, аудио с микрофона подается в нейронную сеть, которая оценивает вероятную позу лица для текущего речевого паттерна.
Тем не менее, вполне возможно, что Meta захочет оставить «Codec Avatars» для будущего Quest Pro 2, который будет достаточно мощным, чтобы поддерживать «Codec Avatars» на собраниях в Horizon Workrooms и управлять ими с реальным отслеживанием лица.
Независимо от того, для каких именно шлемов Quest предназначается функция «Codec Avatars», качество почти наверняка не будет таким же, как в самых впечатляющих демонстрациях Meta, таких как интервью с Марком Цукербергом. Эти демонстрации использовали «Codec Avatars», созданные с помощью специализированной аппаратуры захвата с более чем 100 камерами.
Исследователи Meta работают над заменой этого процесса сканированием смартфона, что необходимо для массового выпуска «Codec Avatars», но это приводит к результату меньшего качества. Quest Pro 2 может включать экран на передней панели и датчики глубины для настройки аватара, как это делает Apple Vision Pro для своих Personas, но это все равно не сравнится со специализированной аппаратурой захвата.
Тем не менее, любая версия «Codec Avatars» должна быть значительным улучшением по сравнению с текущими аватарами Meta, которые имеют простой мультяшный стиль и далеки от фотореализма. Мы будем внимательно следить за Meta в ближайшие месяцы за любыми дополнительными намеками на то, что «Codec Avatars» находятся на пути к коммерциализации.