Оглавление:
Meta представляет новую функцию для виртуальной реальности
Компания Meta поделилась видеоклипом, в котором продемонстрирована новинка — функция «Audio To Expression», представленная в обновлении Quest v71. «Audio To Expression» — это модель искусственного интеллекта, которая генерирует правдоподобные движения мышц лица, исходя только из звукового сигнала микрофона. Это позволяет оценить выражение лица без использования специализированного оборудования для трекинга лица.
В 2015 году Meta (тогда Oculus) уже предлагали SDK для синхронизации движения губ с речью, но новая функция «Audio To Expression» заменяет её, обеспечивая анимацию движений щек, век и бровей. Интересно, что, по заявлению Meta, «Audio To Expression» использует меньше ресурсов процессора, чем предшествующий инструмент Oculus Lipsync.
Доступность и поддержка новой функции
Функция поддерживается на устройствах Quest 2, Quest 3 и Quest 3S. Технически поддержка предусмотрена и для Quest Pro, однако этот шлем оснащен датчиками слежения за лицом, которые разработчики могут использовать для точного отображения выражений лиц пользователя, а не только их оценки.
В демонстрационном видеоролике видна явная разница между старым Oculus Lipsync SDK и новой функцией «Audio To Expression» при одинаковом звуковом сигнале.
Потенциальное применение и доступность для разработчиков
Технология не только способна усилить реализм аватаров в социальной виртуальной реальности и многопользовательских играх для владельцев не Pro версии Quest, но и может применяться для создания лиц NPC (неподвижных персонажей), что может быть особенно полезно для малых студий и независимых разработчиков, у которых нет возможности использовать технологии захвата физиономии.
Собственные аватары Meta пока еще не поддерживают «Audio To Expression» (в них используется старый SDK Oculus Lipsync), однако у них имеется симуляция движения глаз: разработчик может отмечать каждый объект в сцене по уровню визуальной значимости, а также добавляются периодические моргания для большего реализма, чтобы аватары не ограничивались только движением губ.
Документацию по использованию «Audio To Expression» разработчики могут найти для разных платформ: Unity, Unreal и для индивидуально разработанных движков.