Доступ к камере через умные очки Meta
Инструментарий доступа устройств Meta для носимых устройств, который позволяет смартфонным приложениям получать доступ к камере умных очков, теперь доступен в виде публичной предпросмотровой версии.
Это значит, что разработчики могут загрузить его и интегрировать в свои мобильные приложения для iOS и Android, а также могут тестировать его на своих очках, но они еще не могут предоставить его для использования широкой публикой.
Очки поддерживают возможность смартфонных приложений снимать фото или начинать видеострим с очков. Приложение может затем сохранять или обрабатывать полученные кадры. Поскольку умные очки Meta функционируют как Bluetooth-аудиоустройства, разработчики могут сочетать эту визуальную возможность с аудиовходом и -выходом.
Разработчики могут, например, использовать SDK для добавления функций прямых трансляций или записи от первого лица в их приложения. Или они могут направлять изображение с камеры на стороннюю мульмодальную модель ИИ для анализа объектов, на которые вы смотрите, и ответов на вопросы о них.
Для видеострима максимальное разрешение составляет 720p, а максимальная частота кадров — 30 FPS. Для работы этого SDK временно создает соединение Wi-Fi Direct между очками и телефоном.
В данный момент поддерживаются очки Ray-Ban Meta и Oakley Meta HSTN, при этом поддержка очков Oakley Meta Vanguard и Meta Ray-Ban Display появится в ближайшем будущем. Однако следует ясно понимать, что поддержка последних будет включать только прием изображения с камеры, без возможности отображения чего-либо на головном устройстве дисплея (HUD).
Интересующиеся разработчики могут найти инструментарий доступа устройств для носимых устройств на сайте wearables.developer.meta.com.
Подзаголовок: Первые опыты разработчиков
Мета предоставила ранний доступ к инструментарию доступа устройств для носимых устройств несколько месяцев назад избранной группе разработчиков, включая Twitch, Microsoft, Logitech Streamlabs и Disney.
Twitch и Logitech Streamlabs используют SDK для возможности прямой трансляции вашего обзора от первого лица на их платформах, подобно тому, как это можно делать уже сейчас в Instagram, в то время как Microsoft использует его для своей платформы Seeing AI, которая помогает слепым людям ориентироваться и взаимодействовать с окружающим миром.
Одним из особенно интересных применений является эксперимент приложения для гольфа 18Birdies, которое рассматривает возможность использования инструментария для носимых устройств Meta для предоставления информации в реальном времени об удалении и рекомендациях по выбору клюшек, помогая гольфистам без необходимости доставать из кармана телефон.
Еще одно применение придумано командой Imagineering от Disney, которая исследовала использование инструментария для предоставления гостям парков личного ИИ-гида.