Коли цифрові технології об’єднуються з живою грою акторів, результат перевершує сподівання. Цей незвичайний досвід не можна замінити будь-якими окремими засобами медіа. Нижче надано короткий огляд нових медіа, які стали можливими саме завдяки застосуванню сучасних технологій.
Доповнена реальність (AR) та змішана реальність (MR)
Як відомо, технології доповненої реальності (AR, Augmented Reality) та змішаної реальності (MR, Mixed Reality) накладають цифровий контент на справжнє зображення фізичного світу. Це дозволяє користувачам дивитися на світ через планшет, смартфон або шлем/окуляри віртуальної реальності (Head-mounted display, HMD — спеціальний периферійний пристрій, що використовується в системах віртуальної реальності). Наприклад, мова йде про такі пристрої як Magic Leap, Microsoft Hololens, Meta або Google Glass.
Подібний шлем-дисплей доповненої реальності виступає в якості платформи для творчості. Хоча з іншого боку, всі ці гаджети ще знаходяться в зародковому стані. Більшість головних гарнітур досі приєднуються до комп’ютера кабелем, мають низьку роздільну здатність екрану і обмежений кут перегляду. Крім того, цей пристрій вимагає певного часу на освоєння.
Та навіть із такими обмеженнями, художники та дизайнери знаходять переконливі причини, щоб інтегрувати цю нову технологію в комунікаційну архітектуру спілкування. Стрічка Journey to the Center of the Natural Machine («Подорож до центру природних машин»), що була показана на кінофестивалі Sundance в 2017 році, продемонструвала силу мультиплеєрної взаємодії з доповненою реальністю. В процесі показу користувачі можуть впливати на розвиток сюжету фільму і бачити одну і ту ж голограму людського мозку. Але це не все: розробники натякають на можливості застосування AR для інтерактивного досвіду та спільної роботи в галузі науки, бізнесу, освіти та інженерії.
Іншим AR-проектом на кінофестивалі Sundance в 2017 році став фільм «Дует у змішаній дійсності». Проект використовує можливості Microsoft Hololens — першого і єдиного бездротового шлем-дисплея. Версія Microsoft Hololens для розробників була випущена 30 березня 2016 року. Цей пристрій не з’єднаний кабелем з комп’ютерною системою, що дозволяє користувачеві вільно переміщатися в просторі. Hololens проектує голограми у середовище навколо користувачів через голографічні лінзи та сенсори. Об’ємний звук збільшує для користувача відчуття присутності. Через комбінацію погляду, голосових команд та жестів користувач може взаємодіяти і керувати голограмами.
Фільм Marjorie Prime, створений стартапом 8i і вперше показаний на кінофестивалі Sundance в січні 2017 року, розповідає історію родини, яка використовує «розумну», побудовану за допомогою штучного інтелекту, голограму померлого родича, щоб легше перенести втрату. Хоча задумка здається занадто футуристичною, та основні технології для цього вже існують: у вигляді інструментів 3D-сканування, програмного забезпечення для розпізнавання голосу та машинного навчання. Сама концепція була показана наприкінці 2016 року, а команда Marjorie Primeteam представила функціональну голограму людини під час прем’єрної вечірки в рамках фестиваля Sundance.
Доповнена реальність, що забезпечується через смартфон, наразі є єдиним доступним видом AR для масового ринку, оскільки шлем-дисплей, як і раніше, націлений на розробників. Але восени 2017 року компанія Apple зробила потужний крок в напрямку того, щоб зробити технологію AR масовим продуктом. Для цього вона відкрила загальний доступ до нової платформи ARKit, чіпсета A11 Bionic та нової потужної камери на iPhone 8 та iPhone X. Завдяки таким діям Apple мільйони користувачів Apple можуть негайно отримати доступ до AR «на долоні».
В свою чергу, компанія Google анонсувала ARCore у 2017 році як конкурента Apple ARKit. Нещодавно Samsung та Google оголосили про партнерство з метою інтеграції архітектури ARCore в телефони Samsung Galaxy. Нагадаємо, що рік тому Google вже експериментувала з AR, коли запустила проект Tango. Проте на ринку на данний час є всього два пристрої, що підтримують цю технологію. Партнерство Google та Samsung ARCore гарантує, що, як і у випадку Apple ARKit, інструменти AR потраплять в руки мільйонів користувачів Android.
З моменту виходу на ринок, технологія AR поступово наближалась до масового використання. У 2009 році програми AR були використані: для маркетингу (кампанія Blippar), з метою популяризації культурних туристичних місць та музеїв (Музей Лондона), для перегляду зірок на небі (Google Sky), накладання макіяжу (ModiFace), виховання дітей (Happy Atom, Mardles) та перекладу з інших мов (Google Translate).
У липні 2016 року компанія Niantic випустила свою надзвичайно популярну гру Pokémon Go. В перший же місяць цю гру завантажили 500 мільйонів разів і це число зростало і надалі. В один з днів в цю гру грало одночасно 4,2 мільйони південнокорейських користувачів. Після Pokémon Go в Niantic Labs планують випустити гру Harry Potter: Wizards Unite. Компанія працює над новим продуктом спільно з Warner Bros. Випуск запланований вже у 2018 році.
У новій грі про Гаррі Поттера використовується більш просунута технологія Google Tango. Вона дозволяє смартфону вийти за рамки простого накладання цифрового контенту на реальний світ у певній географічній локації. Гаджети з підтримкою Tango здатні підганяти розмір віртуальних об’єктів під реальність навколишнього середовища. Це схоже на проекцію об’єкта в режимі реального часу, яка може створюватися де завгодно, але при тому не потрібний проектор.
Цікавим та перспективним напрямком в розвитку технологій доповненої реальності є також генерація мікровібрацій або тактильного зв’язку з пристроєм, який відображає цифровий контент AR.
«По суті, ми аналізуємо різні частоти вібрації, які можуть виникати під час руху об’єкту по певному шляху. Визначивши ці форми і частоти, ми можемо передбачити, як об’єкт буде реагувати в нових ситуаціях», — коментує Ейб Девіс (Abe Davis), провідний дослідник у відповідному проекті MIT.
Серед інших прикладів AR планшетів або смартфонів: Priya’s Shakti, Future Delta, Ingress, Maguss, VR Rave, and Hidden Cash ARG..
Інші форми AR. Широкомасштабна екранна система доповненої реальності вже знайшла місце у маркетингу та індустрії розваг, наприклад, мова йде про відомий відеоролик з автобусною зупинкою Pepsi в 2014 році. Голограми, які не потребують телефону, планшету, екрану або шлему віртуальної реальності, можуть стати справжнім майбутнім AR . Вже відомі кілька технологічних стартапів, які працюють над створенням голограми, для яких не потрібний шлем чи окуляри ВР, серед них — HoloLamp.
Декілька інших компаній розробляють технологію «аудіо AR» — це новий цікавий напрямок для продуктів, що використовують функцію геолокації у поєднанні з набором певних специфічних показників та інструментів для генерації індивідуального слухового контенту, який доповнює реальний світ. Наприклад, Зак Ліберман (Zach Lieberman) використовує ARKit і OpenFrameworks від Apple, щоб створювати в реальному часі звукову карту та візуалізувати звуки в AR. Проект використовує сенсори iPhone та камеру для створення карти кімнати і генерує сильні та короткі звукові сигнали перед користувачем, виходячи з шуму навколишнього середовища. Поки що це рудиментарний досвід, і все ж таки експеримент Лібермана дає натяк на майбутнє звуку, музики та історії в AR.
Data Storytelling
Напрямок Data storytelling — або ж історії на основі даних — використовує колекції даних, щоб генерувати історії про людський досвід та наше середовище. Сучасні технології та культура соціальних мереж створили базу для оповідачів, що дають оцінку дій та емоцій людства з позиції «пташиного польоту», а також забезпечують розуміння комплексних наукових концепцій та їх динамічної публікації для аудиторії. Це було неможливо ще в 20-му столітті з причини обмежених комунікацій.
П’ять років тому розповідь на базі візуалізації даних була нішевою майстерністю, але зараз вона розглядається як фундаментальна кваліфікація для журналістів. Оскільки складність нашої інтелектуальної архітектури зв’язку розвивається, і дані стають більш точними та всеохоплюючими, журналісти можуть аналізувати ці дані та надавати загальний огляд людської історії.
Візуальні комунікації починають перевершувати спілкування на базі текстової інформації, тому журналісти повинні адаптуватися до такого нового стилю своїх читачів. Марк Цукерберг підтвердив цей рух до візуальних історій на щорічній зустрічі Facebook у 2015 році, коли він розкрив аналітику поведінки користувачів у соціальних мережах. Вона показала їх міграцію від текстових повідомлень до статичних зображень і далі — до рухомих зображень (відео) як основного способу спілкування.
Мистецтво та майстерність середовища існують у тому, як оповідач генерує дані, створює відповідні візуаліції, і обирає процес донесення до глядача. Оповідач стоїть перед завданням контекстуалізувати дані всередині мовної та естетичної конструкції. У своєму інтерв’ю піонер цифрових медіа Анн Грінберг звертає увагу на те, що побудова мікроданих й систем захоплення та пошуку метаданих — це дуже творча робота. Візуалізація даних є корисним інструментом, але вимагає ретельної обробки. Якщо все зроблено правильно, результати є чудовими. Якщо ж погано, то отримаємо «безглуздий шум».
Найбільш визначні роботи по візуалізації даних включають We Feel Fine, I Want You to Want Me, Artificial Killing Machine, Derive та Dear Data.
Сегмент імерсивних даних. Напрямок data storytelling входить у нову захоплюючу фазу експериментів завдяки участі таких компаній, як Virtualitics, LLC, що надають засобам масової інформації можливість інтегрувати аналітику даних у VR та AR. Інструменти поєднують візуалізацію даних з обробкою природних мов та штучним інтелектом.
Інша цікава область дослідження в секторі візуалізації даних видавничого середовища — це «оточуючий користувальницький інтерфейс». Зі зростанням популярності Інтернету речей у все більш пов’язаному середовищі дані можливо відображати різними способами, не тільки на екрані. Об’єкти навколо нас можуть бути розроблені для вираження даних більш інтегрованим, естетично привабливим способом. Цей набір подій гармонійно поєднується зі спробами зробити смарт-об’єкти схожими на аналогові, або ж рухом маркетингового ком’юніті у своєму мисленні у напрямку від інформаційної вікової моделі до підключення споживачів з віковою моделлю на базі досвіду.
ЧИТАЙТЕ ТАКОЖ:
- AR у смартфоні — тест Lenovo Phab 2 Pro і ТОП-10 додатків для Google Tango
- Чому доповнена реальність захоплює смартфони і що буде далі
- Шолом Lenovo Explorer — досвід занурення у VR на платформі Microsoft
Джерело: Medium