Оглавление:
Сравнение технологии отслеживания движения рук в Vision Pro и Quest 3
Vision Pro полностью построен вокруг отслеживания движений рук, в то время как основным методом ввода в Quest 3 являются контроллеры, однако он также поддерживает отслеживание рук как альтернативный вариант для некоторого контента. Но какая технология отслеживания рук работает лучше? Ответ может оказаться неожиданным.
Задержка отслеживания рук в Vision Pro
В Vision Pro нет поддержки контроллеров движения, и единственным способом ввода является отслеживание рук. Основная система ввода комбинирует в себе отслеживание движений рук и глаз для управления интерфейсом.
До запуска гарнитуры у нас уже были данные, которые позволяли оценить задержку отслеживания рук от 100 до 200 мс, однако это довольно большой разброс. Сейчас мы провели собственный тест и точнее определили, что задержка отслеживания рук в Vision Pro составляет около 128 мс на версии операционной системы visionOS beta v1.1.1.
Мы измерили это следующим образом: используя запись экрана гарнитуры, которая показывает как реальную, так и виртуальную руку, мы сошли сколько кадров требуется, чтобы виртуальная рука среагировала на движение реальной руки. Для рендеринга рук использовалась система Apple Persona, чтобы исключить любую дополнительную задержку, которая могла бы возникнуть при использовании Unity.
После нескольких тестов мы пришли к выводу, что это занимает около 3,5 кадров. При частоте съемки 30 кадров в секунду это составляет 116,7 мс. Затем к этому мы добавляем известную задержку прохождения в Vision Pro, которая составляет около 11 мс, для итогового результата в 127,7 мс задержки от реального движения руки до отслеживания движения руки.
Мы также тестировали, сколько времени требуется между касанием рукой в реальном мире и виртуальным вводом (чтобы увидеть, медленнее ли полное скелетное отслеживание рук по сравнению с простым обнаружением касания), но мы не обнаружили значительной разницы в задержке. Также тестирование проводилось в различных условиях освещения, и значительная разница не обнаружилась.
Задержка отслеживания рук в Quest 3
Как это сравнивается с Quest 3, гарнитурой, которая не управляется исключительно руками? Используя аналогичный тест, мы обнаружили, что задержка отслеживания рук в Quest 3 составляет около 70 мс на операционной системе Quest OS v63. Это значительное улучшение по сравнению с Vision Pro, но реальное использование гарнитуры может заставить думать, что задержка отслеживания рук в Quest 3 даже ниже. Однако выяснилось, что некоторые из воспринимаемых задержек маскируются.
Вот как мы выяснили это. Используя запись с частотой 240 Гц сквозь линзу, мы провели тот же тест на движение, что и с Vision Pro, чтобы выяснить, сколько времени проходит между движением реальной руки и виртуальной руки. Результатом стало 31,3 мс. В сочетании с известной задержкой прохода в Quest 3, которая составляет около 39 мс, это дает общую задержку от реального движения до отслеживания движения руки около 70,3 мс в Quest 3.
При использовании Quest 3 отслеживание рук кажется еще более отзывчивым, чем предполагает этот результат, так в чем дело?
Поскольку задержка прохождения в Quest 3 примерно в три с половиной раза выше, чем в Vision Pro (11 мс против 39 мс), временная разница между видимым движением руки и движением виртуальной руки кажется всего лишь 31,3 мс (по сравнению с 116,7 мс в Vision Pro).
Важно понимать: задержка и точность отслеживания рук — это две разные вещи. Во многих случаях между ними может быть обратная зависимость. Если оптимизировать алгоритм отслеживания рук для скорости, можно потерять в точности. А если оптимизировать для точности, скорость может снизиться. На данный момент у нас нет хороших показателей точности отслеживания рук для обеих гарнитур, кроме субъективных ощущений.