Новый способ доступа к камерам в очках Quest 3
Разработчик выяснил изворотливый способ использования камер Quest 3 для запуска собственных моделей компьютерного зрения. Meta не разрешает сторонним разработчикам доступ к камерам своих VR-гарнитур Quest, но Михаэль Гшвандтнер, сооснователь и ведущий разработчик приложения для тренировок с отслеживанием движений рук XRWorkout, опубликовал видео в социальных сетях, демонстрирующее интересный обход этого ограничения.
Демонстрационное видео показывает работу открытой модели обнаружения объектов MobileNet V2 на Quest 3 с частотой 0.75 Гц. Гшвандтнер предоставил тестовую сборку сайту UploadVR, и те независимо подтвердили, что метод действительно работает. Также он исключительно рассказал UploadVR, как именно он этого добился.
Принцип работы
Приложение Гшвандтнера создаёт веб-просмотр, экземпляр браузера Chromium, встроенный в приложение, который автоматически загружает URL oculus.com/casting, на который можно транслировать вид из шлема Quest.
Затем вам нужно пройти полный процесс входа в вашу учетную запись Meta через этот веб-просмотр. После этого вы используете системное меню Quest, чтобы инициировать веб-трансляцию. Уникальность в том, что вы транслируете изображение из шлема в приложение внутри того же шлема, а не на другое устройство.
После этого приложение Гшвандтнера анализирует содержание пикселей, rendertexture, веб-просмотра, принимающего транслируемое изображение, и может делать с полученными данными всё, что ему угодно. В демонстрационном примере он использует SDK Google MediaPipe для работы на устройстве.
Основным ограничением является то, что в поле зрения будут присутствовать и виртуальные объекты и интерфейсы, а не только изображение с камеры, что означает, что метод будет работать только тогда, когда большая часть изображения передается через passthrough. Однако Гшвандтнер утверждает, что у него есть «план» по обходу этой проблемы.
Что будет дальше?
Неясно, как Meta отреагирует на открытие Гшвандтнера. Возможно, компания сделает этот метод неработоспособным в будущих версиях операционной системы Horizon для Quest. В сообщениях Гшвандтнера в социальных сетях содержится публичный запрос о встрече с CEO Meta Марком Цукербергом или CTO Эндрю Босвортом, чтобы «показать им» этот метод.
В прошлом месяце Босворт поделился своими мыслями об идее намеренного предоставления разработчикам Quest доступа к камерам passthrough во время интервью, сказав, что Meta будет «продолжать рассматривать» этот вопрос.
В сравнении, Apple предоставляет полный доступ к камерам только компаниям в своем корпоративном шлеме Vision Pro и только для не публичных внутренних приложений.