Оглавление:
Разработчики находят обходные пути для доступа к камерам Quest 3
Разработчик виртуальной реальности нашел менее трудоемкий способ использования камер просмотра в шлеме Quest 3. Мета официально не разрешает сторонним разработчикам доступ к камерам шлемов Quest, но на этой неделе был сообщен о находчивом способе обхода от Майкла Гшвандтнера, сооснователя и главного разработчика приложения для фитнеса с отслеживанием рук XRWorkout.
Техника Гшвандтнера заключалась в использовании возможности трансляции Quest для загрузки в WebView внутри своего приложения сайта оculus.com/casting. Однако это требовало тщательного ввода данных учетной записи Meta в WebView и инициирования процесса трансляции пользователем.
Другой разработчик ВР, Джулиан Тривери, открыл метод, который не включает использование WebView или трансляции, и, таким образом, не требует входа в систему или инициирования действий в системе.
Новая методика доступа к данным камер
Тривери обнаружил, что API проекции медиафайлов Android, предназначенный для записи экрана в пользовательских целях трансляции или записи, работает на шлемах Quest. В Quest он возвращает кадры разрешением 1024×1024 пикселей центрального угла поля зрения в 82 градуса, что немного меньше, чем при использовании трансляции, но все же достаточно для работы с пользовательскими моделями компьютерного зрения.
API требует разрешения пользователя, но после его получения приложение получает полный доступ к тому, что видит пользователь.
Тривери опубликовал демонстрацию этой техники с открытым исходным кодом, которая, как подтверждено, работает как описано. Он даже добавил версию, в которой показана техника, используемая для отслеживания AprilTag (тип маркерного маяка).
Ограничения метода и возможные действия Meta
Интересным ограничением этого метода является то, что он не может использоваться одновременно с записью или трансляцией на шлеме, так что Тривери использовал компьютер для записи видеоматериалов. Как и в методе Гшвандтнера, другое ограничение заключается в том, что захваченное изображение включает виртуальные объекты и интерфейсы, а не только вид с камеры, что может мешать задачам компьютерного зрения.
Теперь, благодаря открытию Тривери, любое приложение Quest теоретически может получить доступ к камерам с минимальными сложностями. Останется ли Мета не против такого подхода или же компания пойдет на шаги, чтобы заблокировать его в будущих обновлениях своей операционной системы Horizon?
В прошлом месяце технический директор Мета высказал свои мысли относительно идеи намеренного предоставления разработчикам Quest доступа к камерам просмотра, заявив, что компания «продолжит рассматривать» этот вопрос.
В сравнении, Apple предоставляет полный доступ к камерам только предприятиям в своем шлеме Vision Pro, и это относится только к внутренним не публичным приложениям.