Оглавление:
Новая разработка исследователей Meta и ETH Zurich облегчает ввод текста в виртуальной реальности
Исследователи из компании Meta и Швейцарского федерального технологического института в Цюрихе (ETH Zurich) создали программную систему под названием TouchInsight, которая позволяет использовать любую плоскую поверхность в качестве виртуальной клавиатуры.
На сегодняшний день ввод текста в виртуальной (VR) и дополненной реальности (AR) является достаточно неудобным и значительно медленнее, чем на ПК и смартфонах. Использование плавающих виртуальных клавиатур требует неловкого удерживания рук на весу и медленного нажимания клавиш по одной, которые не дают пользователю тактильной обратной связи и не позволяют отдохнуть запястьям. Головные устройства Quest поддерживают подключение Bluetooth клавиатуры, что обеспечивает более быстрый ввод текста, но требует от пользователя носить с собой отдельное устройство, размер которого превышает размер самого головного устройства.
Если бы гарнитурами можно было превратить любую плоскую поверхность в виртуальную клавиатуру, это дало бы частичную тактильную обратную связь и позволило бы отдыхать запястьям без необходимости носить с собой физическую клавиатуру. Технически разработчики уже могут создавать клавиатуры, закрепленные на поверхности, в головных устройствах Quest сегодня, используя отслеживание движений рук и просы пользователя постучать по поверхности для калибровки ее положения. Но на практике даже самое незначительное отличие высоты виртуальной поверхности от реальной приводит к недопустимо высокой частоте ошибок.
Прежние исследования и новые достижения с TouchInsight
На предыдущем этапе исследований, в прошлом году, из Meta сообщили о том, что продвинулись в решении этой задачи, причем технический директор компании Эндрю Босворт заявил, что он достиг скорости ввода почти 120 слов в минуту (WPM). Однако предыдущее решение, казалось, требовало использования серии маркеров на столе, которые могли действовать как надежная динамическая система калибровки. При этом Meta не раскрыла уровень ошибок той системы.
В своей статье о TouchInsight исследователи заявляют, что их новое решение достигает максимума чуть более 70 слов в минуту и в среднем 37 слов в минуту. Для сравнения: средний человек вводит около 40 слов в минуту на традиционной клавиатуре, в то время как профессиональные печатники достигают скорости от 70 до 120 слов в минуту в зависимости от уровня своего мастерства.
Однако ключевое преимущество TouchInsight заключается в том, что оно работает только с обычной гарнитурой Quest 3, на любом столе, без маркеров и внешнего оборудования любого рода. И хотя Meta не раскрывала уровень ошибок предыдущей системы, исследователи утверждают, что средний уровень некорректированных ошибок новой системы составляет всего 2,9%.
Функционал и перспективы TouchInsight
В статье говорится, что TouchInsight представляет собой систему в реальном времени, которая определяет касания всех десяти пальцев на любой физической поверхности, исходя только из отслеживания движений рук от первого лица. Методика TouchInsight включает в себя нейронную сеть, которая предсказывает момент касания, палец, делающий контакт, и местоположение касания. TouchInsight представляет местоположения касаний с помощью двумерного нормального распределения, чтобы учесть неопределенности, связанные с неточностями сенсоров, которые устраняются с помощью контекстных приоритетов для точного восприятия намерений пользователя.
TouchInsight также может быть использован для общего обнаружения нажатий пальцами на физических поверхностях, не ограничиваясь только печатанием. Например, по словам исследователей, это может позволить создать игру в дополненной реальности «Ударь крота», где вы используете свои пальцы, чтобы придавить маленьких кротов.
Стоит отметить, что исследователи планируют продемонстрировать TouchInsight на Симпозиуме ACM по программному обеспечению для диалоговых интерфейсов и технологий, который пройдет в Питтсбурге на следующей неделе.
Непонятно, планирует ли Meta интегрировать TouchInsight в Horizon OS в ближайшем будущем и какие конкретные препятствия могут возникнуть при этом.