Летом 1995 года исследователь Марк Биллингхерст (Mark Billinghurst) принял участие в удивительном событии, которое навсегда изменило его жизнь. Надев шлем-дисплей виртуальной реальности в университете Вашингтона, он перенёсся в небольшую чайную комнату в Японии. Он мог говорить с людьми в этой комнате, повернуться к ним лицом или спиной и помахать им бесплотной виртуальной рукой. Проект был разработан HIT Lab Greenspace, и тогда VR впервые использовалась для создания трансконтинентального совместного виртуального мира.
Телеконференция в условиях Виртуальной Реальности GreenSpace (1995)
Виртуальный телеком
В то время стоимость аппаратного обеспечения для проекта превышала $1 млн, а счёт за коммуникации за несколько дней использования линии связи составлял десятки тысяч долларов. Теперь, 20 лет спустя, VR-конференцсвязь становится всё более распространённой. Такие компании как High Fidelity, Sansar и Facebook разрабатывают совместные пространства VR. Ежемесячно на платформе Altspace VR насчитывается свыше 30 тыс. активных пользователей, растёт популярность таких совместных приложений, как Rec Room и Big Screen.
Facebook Spaces предложил для общего использования VR-приложение (2017), GreenSpace Today
Одной из привлекательных сторон VR для проведения конференций является то, что она позволяет людям использовать те же коммуникационные сигналы (жесты, выражение лица и т.д.), которые применяются в общении лицом к лицу. Они не только могут общаться между собой – у пользователей есть виртуальные тела, позволяющие поворачиваться друг к другу, пожимать руки и делать множество несловесных жестов. Наконец, они могут взаимодействовать с виртуальной средой, окружающей их, например, указывать на объекты в пространстве и говорить о них, или вместе играть в игры. Это означает более высокую степень социального присутствия, чем в обыкновенной аудио- или видеоконференции.
MR, как телефон следующего поколения
VR-конференцсвязь обладает большим потенциалом, потому бизнес инвестирует десятки миллионов долларов в совместные платформы VR. Тем не менее, конференцсвязь в условиях комбинированной реальности (mixed reality – MR) обладает ещё большим потенциалом за счёт её обратной связи с реальным миром. Комбинированная реальность – это технология, которая комбинирует реальный и виртуальный миры. В отличие от VR, которая отделяет людей от реального мира, MR пытается улучшить взаимодействие в реальном мире или принести элементы реального мира в среды VR.
Преимущества использования комбинированной реальности для удалённого взаимодействия включают:
- возможность получения помощи от удалённых пользователей в решении задач реального мира;
- перемещение «виртуальных людей» в реальное пространство пользователя;
- поддержка перехода из режима AR в VR;
- использование изображений MR для передачи жестов и других сигналов языка тела;
- позволяет собеседникам видеть друг друга.
Возможно, самое большое преимущество заключается в том, что MR-конференцсвязь сфокусирована на совместном обзоре рабочего пространства с удалённым сотрудником. Для многих задач в реальном мире, таких как дистанционное обслуживание, во время разговора важнее видеть не лицо человека, а то, над чем он работает. Благодаря этой способности MR-конференцсвязь может применяться в большом количестве областей: от использования для удалённой экспертной поддержки в промышленности до оказания медицинской помощи в операционной, а также развлечений.
Первые системы MR
Почти 20 лет назад была разработана одна из первых совместных систем MR. Это приложение конференц-связи в условиях дополненной реальности, которое транслировало видеоаватары удалённых людей в режиме реального времени и в реальной среде пользователя. Изображение выводилось в шлем с дисплеем, что давало возможность пользователю взаимодействовать в режиме hands-free. Главным преимуществом было то, что приложение перемещало удалённую конференцию с компьютерного экрана в реальный мир. И оказалось, что виртуальный сотрудник в формате видеоаватара в натуральную величину в реальной рабочей среде обеспечивает более высокую степень социального присутствия, чем просмотр его на экране компьютера.
Конференц-связь в условиях дополненной реальности, 1998 год
Примерно в то же время появилось устройство WearCom, которое позволяло выводить изображение нескольких виртуальных собеседников вокруг пользователя в шлеме-дисплее и с микрокомпьютером. Исследователи обнаружили, что применение пространственного звука позволяло человеку легко устранять неоднозначность между несколькими спикерами, даже когда они говорили почти одно и то же – точно так же, как в разговоре лицом к лицу на вечеринке со множеством людей.
Приложение для MR-конференций для носимых устройств WearCom, 1998 год
Хотя такое исследование казалось многообещающим, проблема заключалась в том, что видеоаватары удалённых людей выглядели плоскими прямоугольниками. Но проблема решилась через пару лет благодаря системе 3D Live System, где применялись несколько камер для захвата изображения и просмотра под любым углом.
Приложение для 3D live MR-конференции, 2002 год
Вообще, термин «комбинированная реальность» описывает технологию совмещения полностью реального мира с иммерсионным виртуальным окружением. Большинство систем позволяет генерировать сплошное пространство MR. Например, проект MagicBook поддерживает коммуникации лицом к лицу, типа AR или VR, либо их комбинации. Используя эту систему, два человека могут вместе читать книгу. Когда пользователь видит интересную сцену в виртуальной реальности AR, он может щёлкнуть переключателем на ручке и перейти в иммерсионный опыт VR.
Эти экспериментальные образцы показали, что технология MR подходит для беспрепятственного размещения виртуальных сотрудников в реальном мире пользователя и обеспечения уникального совместного опыта. В отличие от VR-конференций, MR-интерфейс улучшает интерактивное взаимодействие в реальном мире и позволяет оказать помощь в решении насущных задач. Тесты с этими и другими системами показали, что в случае интерфейса MR люди ощущают более высокую степень присутствия.
Современные системы MR-конференцсвязи
Появление нового поколения дисплеев AR и VR привело к созданию новых совместных технологий MR. Шлем Microsoft HoloLens демонстрирует MR-версию Skype. Пользователь может расположить виртуальное окно Skype в любом месте в пространстве и видеть видеоизображение удалённого сотрудника в реальном времени. Одновременно камера HoloLens передаёт видео в реальном времени удалённому сотруднику, чтобы тот мог видеть рабочее пространство первого пользователя и вносить AR-примечания при выполнении реальных задач. Таким образом, у удалённого сотрудника складывается ощущение, что он смотрит на мир глазами пользователя HoloLens.
Однако, подобно приложению для AR-конференции 20-летней давности, Skype в системе HoloLens помещает «живое видео» в плоский виртуальный прямоугольник. Проект Microsoft Holoportation решает такую проблему, используя несколько датчиков глубины. Это позволяет захватывать и транслировать трёхмерную виртуальную модель удалённого пользователя в реальный мир локального собеседника. Комбинация с HoloLens означает, что локальный пользователь видит виртуальную копию удалённого пользователя в натуральную величину в реальном мире.
Интересно, что в этой области уже успешно работают несколько стартапов. Mimesys анонсировал разработку первой голографической платформы совещаний, которая способна захватывать изображения реальных людей и объединять их в общие виртуальные пространства. Аналогично, DoubleMe’sHoloportal предоставляет лёгкую версию Holoportation Microsoft для совместных конференций. Ожидается, что в течение следующих нескольких лет в этой сфере будет гораздо больше активности.
MR-платформа совещаний Mimesys Connect
Вышеупомянутые системы показывают, как опыт проведения MR-конференций может работать на современных коммерческих платформах AR и VR. Поскольку дисплеи, технология отслеживания, системы захвата изображений и пропускная способность продолжают развиваться, системы MR-конференций будут улучшаться и далее.
Тренды развития
Уже сегодня есть ряд экспериментальных разработок в области MR-конференций, которые позволяют людям сотрудничать более эффективно, чем когда-либо. В частности, важно отметить три технологические тенденции:
- Естественное сотрудничество: поскольку скорость работы в сети растёт, появляется возможность передавать больше коммуникационных сигналов, чем ранее (например, видео вытесняет использование только аудио). Это приводит к более естественному сотрудничеству.
- Опыт захвата изображений: новая технология, которая позволяет передавать ощущение окружающей среды больше, чем когда-либо ранее. Например, речь идет о переходе от фотографирования к видеосъёмке 3D-пространства.
- Безусловное понимание: теперь компьютеры способы лучше понимать пользователей. Это позволяет им распознавать, например, куда сейчас смотрит человек.
На стыке трёх трендов находится область исследований, которую называют эмпатическими вычислениями. В отличие от традиционных инструментов конференц-связи, эмпатические системы предназначены для того, чтобы более глубоко понимать точку зрения своих сотрудников, видеть их, слышать то, что слышат они, и до некоторой степени понимать, что они чувствуют.
Инновационные очки Empathy Glasses демонстрируют пример опыта совместной работы в условиях MR, который можно разработать с точки зрения эмпатических вычислений. Это AR-дисплей, способный распознавать выражение лица и следить за взглядом. Когда человек надевает их, видео его рабочей среды отправляется удалённому сотруднику, вместе с выражением его лица и глаз. Удалённый сотрудник может видеть то, что видит локальный пользователь, а также точно знает, куда тот смотрит, понимает, когда собеседник чувствует себя смущённым или недовольным задачей, которую они решают.
До свидания, телефон…
Через 20 лет использование мобильного телефона для общения с друзьями будет таким же старомодным, как пользование сегодня стационарным телефоном. К тому времени технология комбинированной реальности позволит людям видеть рядом с собой виртуальные копии своих друзей в реальном мире, смотреть на мир их глазами и помогать в решении актуальных задач.
Сегодня системы VR и AR дают лишь небольшое представление о потенциале комбинированной реальности. MR-cистемы способны обмениваться расширенными коммуникационными сигналами в реальном мире и позволяют удалённым людям сотрудничать такими способами, которые ранее не были доступны.
БОЛЬШЕ ИНТЕРЕСНОГО:
Источник: Medium