Оглавление:

Meta разрабатывает AI систему для понимания планировки помещения

Компания Meta представила новейшую систему исследований искусственного интеллекта, которая позволяет гарнитурам и очкам распознавать расположение мебели и планировку комнаты.

Система, получившая название SceneScript, по заявлениям Meta, использует ту же основную технику, что и большие языковые модели, однако вместо предсказания следующего фрагмента текста она предсказывает элементы архитектуры и мебели внутри трёхмерного облака точек. Такой же тип захвата уже используется гарнитурами для обеспечения автономного позиционного отслеживания.

В результате получается серия простых 3D-форм, которые представляют основные контуры заданного элемента мебели или предмета интерьера.

Новые возможности для Quest 3 и их потенциал

В очках Quest 3 уже реализована возможность создания сырого трехмерного моделирования комнаты, и они могут определять местоположение стен, пола и потолка на основе этой модели. Однако на данный момент гарнитура не способна точно распознавать конкретные объекты, такие как двери, окна, столы, стулья и диваны. Впрочем, пользователи гарнитур Quest могут самостоятельно отмечать эти предметы в виде простых прямоугольных параллелепипедов, но поскольку это необязательно и может быть утомительным, разработчики не могут рассчитывать на то, что пользователи сделают это.

Если бы технологию вроде SceneScript интегрировали в настройки смешанной реальности Quest 3, разработчики могли бы автоматически размещать виртуальный контент на конкретные элементы мебели или вокруг них. Они могли бы заменить ваши окна порталами, или ваше кресло виртуальным сиденьем, или превратить ваш диван в укрепленное место. Сегодня для этого нужно, чтобы пользователи вручную отмечали мебель, или иногда это делают алгоритмы, интерпретирующие сетку сцены, но SceneScript мог бы сделать этот процесс бесшовным и автоматическим.

SceneScript и его возможная польза для AI помощников

Технологии вроде SceneScript также могут предложить огромные возможности для AI-ассистентов в будущих гарнитурах и очках дополненной реальности. Например, Meta приводит примеры вопросов, таких как «Подойдет ли этот стол для моей спальни?» или «Сколько банок краски нужно, чтобы покрасить эту комнату?», а также команды вроде «Размести [приложение AR/MR] на большом столе».

Однако пока Meta описывает SceneScript исключительно как исследование, а не как обновление продукта, которое скоро появится на рынке. Несмотря на то что эта технология со временем может появиться в Quest 3, пока нет предположений о её скором внедрении.