Ігри в альтернативній реальності, квест-руми (escape room, також називається квест-рум — інтелектуальна гра, в якій гравців закривають у приміщенні, з якого вони повинні вийти, знайшовши певні предмети та вирішивши головоломки) та імерсивні театри — всі ці напрямки забезпечують нові враження та відчуття для глядачів . Світ, описаний в сценарії, накладається на фізичну реальність, і це дозволяє глядачам занурюватися саме у той світ, що створено в сценарії. Як правило, для того, щоб мотивувати та залучити аудиторію, використовується певна конструкція ігрового дійства. The Quinn Experiments, Pandemic, та Sleep No More — це приклади відомих захоплюючих вражень, які змінили наш спосіб взаємодії з театром.
Утворююче мистецтво та штучний інтелект
Хоча штучний інтелект (AI, Artificial Intelligence) став частиною повсякденного життя багатьох людей ще у 2011 році — після того, як в iPhone з’явився цифровий помічник Siri, саме минулого року вдалося досягти значного прогресу у цій галузі. Наприклад, на базі IBM Watson було випущено перший трейлер фільму, який відредагували за допомогою штучного інтелекту. Багато з цих досягнень були обумовлені тим, що алгоритми AI здатні краще аналізувати візуальні дані (наприклад, розпізнавати обличчя та виявляти зображення) та обробляти природну мову.
Оскільки ці розумні алгоритми тепер здатні емулювати людське мислення, міркування та прийняття рішень, а також розпізнавати емоції, митці почали експериментувати над спільною творчістю разом з машинами. Художники завжди використовували технологію як інструмент для створення свого бачення світу, але різниця полягає в тому, що тепер цей інструмент має вплив на кінцевий результат чи не більший, ніж сама людина.
New Dimensions in Testimony став проривним проектом у цій категорії в 2016 році, оскільки надав уявлення про перспективи когнітивних обчислень у певному сюжеті. У проекті використано сучасне програмне забезпечення для природного мовлення, яке дозволило аудиторії усно спілкуватися із записаним 3D-зображенням людини, що вижила під час Голокосту. Голограма, що працювала за допомогою складного алгоритму, була здатна відповідати на запитання аудиторії в режимі реального часу, що створювало враження реалістичного спілкування.
Ця форма АІ може бути використана багатьма способами. Уявіть собі, яким може стати сімейний фотоальбом або мемуари в майбутньому, коли ці голограми зможуть давати вербальні відповіді на питання, розповідати певні історії з минулого, шукати задані зображення або звуки, а також допомогти вам зануритися у певне середовище. Фактично в майбутньому ми зможемо «сидіти за кухонним столом з фотоальбомом та розповідати історії про життя» разом з тими, хто вже давно помер.
Розвиток та популяризація технології машинного навчання викликає дебати про те, як назвати мистецтво, яке свідчить про екзистенційну кризу серед митців. Подібно до дебатів, що відбувалися під час зростання генерації YouTube, де кожен бажаючий міг раптом стати відеооператором та режисером, покоління AI тепер задає питання: «В чому є роль художника?».
Якщо машина може творити в галузі візуального мистецтва, монтувати відео, писати сценарії (наприклад, Sunspring) або музику (наприклад, Daddy’s Car), то навіщо тоді митець? Звичайно прийнято вважати, що всі розумні алгоритми фактично не створюють нічого нового, вони лише використовують в якості сировини оригінальні матеріали, створені людством за тисячоліття творчості, і далі знаходять там шаблони та зразки для створення сучасних реміксів та мешапів. Проте деякі стверджують, що цей процес аналогічний тому, що роблять митці, нагадуючи при тому про переказ семи оповідань на новий лад або створення музики на базі 12 нот, що актуально принаймні для західної музики. Ахмед Елгаммал (Ahmed Elgammal) в лабораторії Art & AI в Університеті Рутгерса генерував мистецькі твори за допомогою бази даних WikiArt, і результат виявився надзвичайно схожим на твори, де авторами є люди. Більше того, навіть не всі респонденти змогли виявити різницю.
Mr Shadow: пісня, що була створена штучним інтелектом
Співпраця, а не конкуренція: а може машини не конкурують з людьми в мистецтві, а лише допомагають їм та покращують результати? Цілком можливо, що системи AI здатні співпрацювати з людьми з метою створення симбіотичного суперінтелекту, вважає професор інформатики та головний виконавчий директор Інституту штучного інтелекту Орен Еціоні (Oren Etzioni).
Ен Грінберг (Ann Greenberg), дослідник інтерактивних та генеративних медіа, пояснює, що у програмі Sceneplay [зараз Entertainment AI] кожний фрагмент сценарію ділиться на найменші частинки: редагування списку рішень, кути зйомки, фільтри, час доби, опис персонажів тощо. Ці дані використовуються для запуску серії суфлерів, автоматичних записуючих пристроїв та редакторів, всі з яких генеруються від одного і того ж фрагмента коду. Користувач вибирає тип медіа (ситком, музичне відео, тощо), потім роль, яку він хоче грати (головний герой, провідний виконавець), і виконує твір разом із машиною, яка точно підказує, що треба робити. Якщо ви дієте та говорите так, як підказує вам суфлер, тоді створене вами відео (зроблене з допомогою цього SmartScript, тобто з допомогою машини) автоматично збігається з іншими користувачами і дає користувачеві відчуття роботи в ансамблі. Якщо ви не будете слідувати рекомендаціям з боку машини, тоді ваші дії не будуть співпадати з усіма іншими, отже злагодженого проекту не буде. По суті, хоча з одного боку ви є маріонеткою, але з іншого — частиною спільного досвіду.
У 2017 році художник Мемо Актен (Memo Akten) запустив проект Learning to See: Hello World! . Ця інтерактивна інсталяція застосовує пряму трансляцію для демонстрації того, як працює машинне навчання. Використовуючи потужну нейронну мережу, проект швидко порівнює шаблони і «витягує» з них зображення. Ars Electronica також виступає на передньому краї підтримки художників, які працюють з AI. Серед інших прикладів генеративного мистецтва: MESOCOSM, word.camera, Flock, Flippaper, and Close Your, RIOT (використовує розпізнавання обличчя, щоб обчислювати користувачів, які агресивно демонструють протест).
Жестові інтерфейси
У 2006 році медіа-вчений Джон Андеркоффлер (John Underkoffler) та його стартап Oblong Industries презентували систему Gspeak з програмою для редагування TAMPER, яка дозволила редакторам створювати кінематографічний світ через жестовий інтерфейс. Ідея виникла під час мозкового штурму під керівництвом Алекса Макдауелла (Alex McDowell), при підготовці історії світу для звіту Minority Report у 2002 році.
Наразі жестовий інтерфейс переходить від ідеї до винаходу, до спільних інновацій з боку інших оповідачів у цій галузі. Ось додаткові приклади якісних жестових проектів: CLOUDS, Treachery of Sanctuary та Shadow Monsters.
Фізичний кінематограф та Інтернет речей
Ці кінематографічні роботи відсовують межі форми та простору, оскільки використовують акторів, діалоги та спільне виробництво таким чином, що це дозволяє розширити можливості фізичного кінематографа. Артисти та глядачі починають інтегрувати себе в картину, використовуючи розумні об’єкти, переносні пристрої, карту проекцій з трекінг-сенсорами, а також пов’язані та інтелектуальні середовища.
«Перед невеликою аудиторією [Бьорк (Bjork)] виконувала твір Vulnicura’s Quicksand, одягнена при цьому у дивовижну маску і оточена камерами та проекційним освітленням. Камери фіксували те, що відбувалося перед аудиторією, а далі комп’ютери додавали декілька цифрових ефектів. Це була не віртуальна реальність, а скоріше доповнена реальність — бездоганна проекція віртуального світу в реальний, без обов’язкового раніше шлему VR…».
Інтелектуальні середовища. Ці простори, які створюють митці, мають комбінацію двох або більше імерсивних та інтелектуальних технологій, а також деякі аналогові інструменти, що посилюють фізичний досвід. Мова йде про сенсори, які викликають відповідні відчуття, наприклад дозволяють користувачам «доторкнутися» до VR/AR-контенту через інфрачервоне випромінювання або 3D-окуляри з оглядом на 360 градусів. В нагоді стають і аналогові елементи, такі як вентилятори та різноманітні звуки.
Приклади: Be Boy Be Girl, Birdly, Cyrano: Alex in Wonderland, Just a Reflektor, Lyka, Can’t Get Enough of Myself , Tableau, Peg Mirror, Lyka’s Adventure, OMW, Fru, The Quinn Experiment, Postcards to My Younger Self, та Magic Dance Mirror.
Віртуальна реальність
Віртуальна реальність (VR, Virtual Reality) включає в себе набір технологій, які занурюють глядачів або гравців повністю у віртуальний світ. Деякі з підходів для створення VR включають:
- моноскопічне або стереоскопічне відео з оглядом 360 градусів,
- легка польова камера для зйомки панорамного відео 360 градусів,
- об’ємне захоплення або фотограметрія, яка фіксує стан VR, об’єкти, ландшафти або структуру середовища в режимі реального часу,
- кордони та форми оточуючого приміщення,
- гіпер-реальність (інтерактивна віртуальна реальність з повним зануренням, де віртуальні об’єкти можна відчути на дотик, а не тільки побачити),
- VR з синхронізованим переглядом,
- соціальна VR.
Усі зазначені вище формати можуть бути інтерактивними.
Відомо, що популярність імерсивних театрів (тобто тих, що занурюють глядача в іншу реальність) зростає. Так, нещодавно команда The Willows, розташована в Лос-Анджелесі, створила захоплююче поєднання інтерактивного театру з певними спеціалізованними локаціями.
«Зростання популярності квест-кімнат та імерсивних театрів напевно можна назвати тенденцією. Але я думаю, що віртуальна реальність (VR) важлива для кіно та телебачення так саме, як і для театру», — заявив продюсер Джастін Фікс (Justin Fix).
Багато респондентів заявили, що вони в захваті від перспектив віртуальної реальності. Насправді, ефект від розміщення глядача всередині віртуальної реальності дуже відрізняється від того, що відчуває глядач у інтерактивних документальних фільмах та під час інших експериментів, які ми спостерігали протягом останніх кількох років.
Коли респондентів спитали, що вони очікують від середовища VR, ось які пункти відзначили:
- здатність вийти за межі людського сприйняття реальності. Наприклад, мова йде про те, щоб вийти у відкритий космос, стати деревом, подивитися на світ очима тварини або зменшитися до розміру молекули;
- миттєво транспортуватися через час і простір;
- відчути соціальний простор у віртуальній реальності;
- перебувати в безпосередній взаємодії із цифровими виконавцями та виконавцями, які покращені за рахунок цифрової підсистеми;
- знизити бар’єри для емпатії.
«Це перший раз, коли я думаю, що технологія дійсно відкриває людей, — вважає Гарвардський студент Маделейн Вудс (Madeleine Woods). — Ви можете побувати в шкурі будь-якої людини світу, побачити те, що ніколи не бачили. Я гадаю, що можна зрозуміти людей набагато краще, коли ходити в їхньому взутті та в їхньому одязі, і це те, що справді забезпечує нова технологія».
У 2014-2015 роках під час хвилі експериментів з VR дослідники аналізували перспективи «перетворення» на іншу людину або тварину, занурення в анімаційний світ, а також миттєвої телепортації до віддалених та недоступних місць або ж інтимних просторів.
У 2016 році відбулися успішні експерименти з абстракцією, простором, медитацією, астрономією та квантовою фізикою, метафізикою та іншими сферами, які забезпечують досвід реальності, що ніколи не можна було зустріти в «людському житті». Занурення у VR досягло нового рівня в режимі реального часу, що надає аудиторії можливість бути в одній кімнаті з виконавцем, взаємодіяти з віртуальним контентом, з живою грою актора у віртуальному просторі. Приклади подібних експериментів включають в себе Unreal Engine experience та To Be With Hamlet.
У 2017 році, через 40 років після того, як народилась технологія, VR знаходиться на порозі першої хвилі справді успішного «вбивчого контенту», про що свідчить: перший фільм VR, який номінований на Оскар (Pearl); перша стрічка VR, яка відзначена спеціальною нагородою від Академії кінематографічних мистецтв та наук (Carne y Arena); перший фільм VR, який отримав премію Emmy (Henry) в 2016 році. В цьому році переможців було ще більше: Collisions (Видатний новий підхід: документальний матеріал) та The People’s House (Видатна інтерактивна оригінальна програма). Крім того, студія Disney Pixar випустила свою дебютну роботу в сегменті VR — Coco VR. IMAX відкриває свій перший Центр імерсивних медіа, також чимало університетів та коледжів створюють курси по імерсивним медіа.
На кінофестивалі Sundance у 2017 році було представлено велику кількість повністю реалізованого та досконалого матеріалу (галузь VR в решті решт пройшла демонстраційну фазу). Згідно з критичними оглядами, контент та формат досліджень, виконаних за попередні чотири роки, нарешті почав давати результат. Серед прикладів таких робіт: Dear Angelica, Zero Days VR, Life of Us, Out of Exile, Orbital Vanitas, Sky is a Gap, Chocolate, Mindshow та Asteroids.
Засновник Magic Leap Роні Абовиц (Rony Abovitz) вважає, що AR/VR/MR мають потенціал для покращення якості життя в самих різних сферах, адже наш мозок розвинутий так, що він добре сприймає експерименти з простором, хоча ще прийдеться пройти довгий шлях. Тим не менше, кінцеві результати можуть сильно вплинути на роботу в архітектурі, освіті, медицині та інших галузях.
- Як інноваційні технології впливають на появу нових медіа (частина I)
- В чому Facebook (і багато інших) помиляються щодо віртуальної реальності
- Без фізичного офісу: мільярдна компанія мігрувала у віртуальну реальність
Джерело: Medium