Оглавление:
Meta работает над поддержкой шлемов Quest в движущихся транспортных средствах
Компания Meta занимается разработкой технологии, которая позволит использовать шлемы Quest в условиях передвижения на транспортных средствах. Дизайнер пользовательского опыта Эндрю Фокс поделился видео, на котором пользователь Фейсбука Олександр Нецветаев пытается использовать шлем Quest 3 в прозрачном режиме на борту самолёта, однако сталкивается с проблемой, когда интерфейс смещается и уплывает.
Технический директор Meta Эндрю Босворт отреагировал на этот пост, объяснив причину проблемы, и завершил свое сообщение словами, что в компании уже работают над её решением. Он отметил, что была использована система инерционных измерительных устройств (IMU) для позиционирования объектов относительно движения шлема, и таким образом передвижение на транспортных средствах представляет определенную сложность, особенно когда транспорт ускоряется в любом направлении.
Почему возникает дрейф в движущемся транспортном средстве?
Часто считается, что системы отслеживания без маркеров в шлемах, очках и контроллерах используют только камеры, но это не так. Эти системы в равной степени опираются и на инерциальный измерительный блок (IMU), который содержит крошечный акселерометр и гироскоп.
Хотя камеры обычно работают на частоте 30 Гц или 60 Гц, IMU предоставляют данные с частотой около 1000 Гц, что позволяет снизить задержку. Однако IMU не может обнаружить абсолютное перемещение напрямую. Акселерометр в IMU чувствует ускорение относительно гравитации, и, проведя интеграцию ускорения за время, можно получить скорость. А интегрируя эти значения скорости в течение времени, можно определить смещение от исходного положения.
Этот процесс называется мёртвой навигацией. Именно так в каждый момент отслеживается положение каждого шлема и контроллера, при этом оптические компоненты, такие как камеры или лазерные базовые станции, используются только для коррекции накопленной ошибки, вызванной шумом данных IMU. Но в движущемся транспортном средстве, например в самолёте, акселерометр будет регистрировать ускорение самого транспортного средства как ускорение шлема, что приводит к внезапному и быстрому дрейфу позиции, который был замечен в видео Фокса.
Попытки решения проблемы и альтернативные технологии
Упоминается также, что у Apple Vision Pro есть Режим Путешествия для использования в самолётах, и Apple активно продвигает этот сценарий использования. Однако точно не известно, что делает Режим Путешествия компании Apple; известно лишь, что он должен «стабилизировать изображение». Автор планирует испытать эту функцию во время обратного пути домой после приобретения Vision Pro в Нью-Йорке.
Ещё не совсем ясно, что именно имел в виду Босворт, говоря, что Meta «работает над» решением проблемы. Сейчас можно отключить 6-степенную сферу позиционного отслеживания на Quest, и шлем перейдет к трёхстепенному отслеживанию вращения, но это также отключит режим прозрачности. Возможно, Meta планирует разрешить использование прозрачности, когда позиционное отслеживание выключено.
Кроме того, Meta, возможно, работает над тем, чтобы дать возможность позиционного отслеживания работать в движущихся транспортных средствах, возможно, путём инструктирования системы полагаться полностью на визуальные данные от камер, игнорируя данные IMU. В прошлом году Meta демонстрировала исследовательский проект, в котором шлем Quest Pro функционировал в движущемся автомобиле BMW, но это включало в себя связь с собственным бортовым IMU автомобиля.