Оглавление:
Обновление SDK Meta для Quest
Новая версия SDK от Meta для очков Quest включает в себя «микрожесты» большим пальцем, позволяющие проводить и тапать по указательному пальцу, а также улучшенную функцию «Аудио-в-Выражение» (Audio To Expression).
Также в обновление вошли инструменты помощи для доступа к камере просмотра окружения (Passthrough camera), функционал, который Meta только что предоставила разработчикам. Если пользователь даст разрешение, приложения получат доступ к цветным камерам, расположенным спереди на шлеме, включая метаданные типа характеристик объектива и позы шлема, что позволяет использовать собственные модели компьютерного зрения.
Микрожесты большим пальцем
Микрожесты используют слежение за движением рук без контроллеров в шлемах Quest и могут определить нажатие и свайп большого пальца по указательному пальцу, как если бы это была кнопка управления D-pad на геймпаде Steam Controller, когда рука повернута боком, а пальцы согнуты.
Для игрового движка Unity микрожесты требуют Meta XR Core SDK. Для других движков это доступно через расширение OpenXR XR_META_hand_tracking_microgestures.
Meta сообщает, что эти микрожесты можно использовать для реализации телепортации с поворотом на месте без использования контроллеров, хотя разработчики сами решают, как именно использовать микрожесты. Например, их можно использовать как менее утомительный способ навигации по интерфейсу, избегая необходимости тянуться или указывать на элементы.
Интересно, что Meta также использует этот подход с микрожестами большого пальца для своего разрабатываемого нейронного браслета, устройства ввода для своих будущих AR-очков, и, как сообщается, возможно, и для HUD-очков, которые планируется выпустить в течение этого года.
Это подразумевает, что шлемы Quest могут использоваться как платформа разработки для этих будущих очков, используя микрожесты, хотя для полноценного ввода данных, как в прототипе Orion, потребуется отслеживание взгляда.
Улучшенная функция «Аудио-в-Выражение»
«Аудио-в-Выражение» – это встроенная AI-модель, представленная в версии SDK v71, которая генерирует правдоподобные движения мышц лица, основываясь только на входных данных от микрофона, и предоставляет оценку выражений лица без какого-либо оборудования для отслеживания лица.
Эта функция заменила десятилетний SDK Oculus Lipsync, который поддерживал только губы, а не другие мышцы лица. Meta утверждает, что «Аудио-в-Выражение» фактически использует меньше CPU, чем Oculus Lipsync.
Теперь компания заявляет, что версия v74 Meta XR Core SDK содержит улучшенную модель, которая «улучшает все аспекты, включая эмоциональную выразительность, движение рта и точность неречевых вокализаций по сравнению с предыдущими моделями».
Собственный Avatars SDK компании Meta до сих пор не использует «Аудио-в-Выражение», также как и не использует отслеживание положения тела посредством внешних камер.