Оглавление:
Meta предоставит API для камер в очках Quest
Сегодня, во время неожиданного объявления на конференции Connect 2024, компания Meta сообщила, что в следующем году разработчики получат доступ к API пропускающих камер очков Quest.
«Это позволит создать множество передовых MR-опытов. У нас будут отслеживаемые объекты, приложения на основе искусственного интеллекта, замысловатые наложения, понимание сцены и многое другое.»
Расширенные возможности для разработчиков
Сегодняшние гарнитуры смешанной реальности, такие как Meta Quest 3 и Apple Vision Pro, используют камеры, чтобы пользователи могли видеть реальный мир. Однако на данный момент только системные приложения и некоторые приложения первой стороны имеют прямой доступ к изображениям из камер. Разработчики сторонних приложений могут использовать проходящее через камеру изображение в качестве фона, но их приложения не могут обрабатывать это изображение напрямую. Вместо этого они получают данные более высокого уровня, такие как координаты скелетов рук и тела, 3D-сетка окружающей среды с ограничивающими рамками для мебели и ограниченные возможности отслеживания объектов. Это означает, что они не могут запускать собственные модели компьютерного зрения, что серьезно ограничивает возможности дополненной реальности этих гарнитур.
Ограниченный доступ у Apple и ожидаемая политика Meta
С операционной системой visionOS 2 Apple предоставляет компаниям в корпоративной сфере прямой доступ к камерам гарнитуры Vision Pro, но только для внутренних, не публичных приложений. Такой доступ требует специальной лицензии от Apple и ограничен использованием исключительно в корпоративной среде.
Meta пока не сообщила, будут ли какие-либо ограничения для API пропускающих камер, но мы будем тщательно следить за компанией, чтобы узнать о всех подробностях этой захватывающей новой возможности, которая может открыть совершенно новые сценарии использования гарнитур Quest.