Pixelated Realities — некоммерческая гражданская организация с необычной технической специализацией: ребята занимаются виртуальной реальностью и 3D-сканированием. Их цель — продвижение цифровых методов для сохранения культурного наследия и изменения общественного пространства. Команда сканирует памятники архитектуры методом фотограмметрии и создаёт виртуальные туры под мобильный телефон и Google Cardboard.
Среди уже отсканированных локаций — площадь Дюка в Одессе, Деволановский спуск, памятники основателям Одессы, бывший рыбный ресторан возле Дюка, Майдан, «Шевченковский Гай». Мы поговорили с основателем Pixelated Realities Фёдором Бойцовым о том, зачем нужны виртуальные туры в Украине и что такое фотограмметрия.
С чего всё начиналось
Pixelated Realities начались с машины времени в картонной коробке 🙂 Хотя, если начинать с самого начала, то конечно нужно сказать о том, что я — архитектор и родился в Одессе.
Одессе, как мы знаем всего 222 года, и во времена её развития, всё делалось очень по-имперски помпезно и модными архитекторами, но из гипса и очень быстро. А гипс — он разрушается. Все эти «вензеля» и скульптуры, построенные из местного ракушечника, декорированных коробочек нуждаются в постоянном косметическом ремонте.
Одессу, помимо всего прочего, планировали как южный курорт. «Южная Пальмира» — но вся эта мнимая субтропическая курортность была развеяна неслабыми морозами (до -30°С). Маркизы, некогда украшавшие фасады, канули в лету — и город стал свидетелем последствий циклов заморозки и разморозки гипсового декора.
Насколько известно, раньше хранили мастер-модели и литьевые формы декора прямо на чердаках. При необходимости даже жильцы могли выйти в субботу, ну или, простите, в воскресенье, замешать гипс, отлить пару барельефов и приклеить на стену.
И тут пришёл СССР. Всё собрать, посчитать, классифицировать, разместить на хранение. Нормальная идея в принципе, — но СССР закончился, а с этим начались новые проблемы и бедствия для уже ставших памятниками архитектуры зданий. Содержать целые ангары с формами и мастер-моделями стало просто нерентабельно, и значительная часть материалов была утрачена.
Я столкнулся с этим впервые, когда 10 лет назад в Одессе сгорел дом Руссова, известный по аптеке Гаевского. Здание утратило купол и получило ощутимые повреждения. Прошли месяцы после пожара, а ничего не изменялось, казалось бы, никто ничего делать не собирается. И вот я не выдержал и пошёл в архитектурное бюро, которое занимается реставрацией этого памятника.
Я спросил: «Так что, мы сейчас возьмём из базы 3D-модели декора и отпечатаем на 3D-принтере мастер модели, а потом всё это передадим скульпторам на тиражирование?»
Оказалось, что наяву есть только материалы стереометрии 80-х годов ХХ века, бумажные чертежи и кальки, — и даже не хватает материалов фотофиксации. Мастер-модели и литьевые формы декора отсутствуют в полном объёме. Некоторые скульптуры отреставрированы просто кирпичами — представьте, вот прямо так выложено кирпичами, и никто не знает, как они выглядели в оригинале. И это в ХХІ веке!
«Как же так, потомки?»
Я задумался, почему нет такого цифрового паспорта фасада? Представьте себе набор 3D-моделей высокоточно отсканированных элементов декора здания, размещённых на чертежах фасадов. Их можно отправить на 3D-принтер или отфрезеровать по надобности, передать скульпторам мастер-модели в натуре, любой элемент можно измерить или создать необходимый разрез в 2 клика мыши. Такая информация позволит значительно сократить время и упростить коммуникацию смежников при производстве реставрационных работ.
Декор — вещь материальная, имеющая габаритные размеры, и для того, чтобы создать серию подобных элементов вам необходимо иметь хотя бы мастер-модель. При её наличии все выглядит неплохо, мы просто берём и тиражируем объект с незначительной потерей точности. Но, что происходит при отсутствии мастер-модели? Выбираются наименее повреждённые модели, и из здоровых частей формуется в один мастер-«франкенштейн», с последующей доработкой и потерей точности. За три секунды, две копейки — и, к сожалению, не всегда при этом профессионалами.
С другой стороны, в компьютере легко объединить повреждённые части в одну целую, без потери точности, и сохранить пластику мастеров, даже если придётся менять габаритные размеры. А при реконструкции этого не избежать, ведь застройщик захочет добавить на первом этаже супермаркет, под зданием — парковку, а сверху пристроить, в лучшем случае, пару этажей. Такие вмешательства в оригинальную тектонику памятников архитектуры несут деструктивный характер и зачастую приводят к значительным изменениям несущих конструкций, сами пропорции фасадов могут быть «слегка изменены». Это может повлечь за собой изменения размеров оригинального декора и потерю аутентичности памятника.
А если бы модели находились в облачном хранилище, пусть их даже не напечатают на 3D-принтере — они бы использовались как эталон для оценки качества работ и упрощали коммуникации между смежниками.
О технологиях, которые помогают оцифровать ландшафты и памятники
Чтобы создать виртуальный тур, мы сначала сканируем объект, потом получаем из этого материала 3D-модель — и используем их для создания игровой локации на Unity.
3D-модели можно моделить вручную, но, в случае создания чего-то точного, необходимо применять 3D-сканирование. Есть много способов это делать. В процессах сохранения архитектуры и культурного наследия наиболее широко применяется лазерный сканер — Lidar. У него есть множество преимуществ. Например, он может покрывать большие площади здания одновременно и работать бесконтактно. Но это — дорогая машина, она не всегда может отсканировать труднодоступные места (крыши, подмостовья), кроме того, требуется обученный оператор.
Процесс съёмки для фотограммерии на Тустани
Зато эти проблемы может решить обычная фотокамера. Фотограмметрия — это метод получения 3D-моделей из фотографий: не такой точный, как лазер, зато намного более реалистичный в текстурном отношении. Это — самый дешёвый метод 3D-сканирования. Всё, что нужно — иметь минимум 5-мегапиксельный фотоаппарат, желательно с 50 мм объективом и хотя бы один указательный палец, для того чтобы клацать по кнопке спуска + относительно недорогой компьютер и ПО. Например, можно использовать программу Reality Capture, которая сейчас находится в бета-версии. В своей рекламе проект обещает дать возможность создавать целые части городов на ноутбуке за одну ночь.
Пример фотограмметрии мелких объектов
Разобраться в геймдеве мне пришлось, когда я попал в проект MMOne. Я всегда думал, что разработка компьютерных игр — это «чёрная магия», а разработчики игр — чернокнижники и программисты. Они знают, что такое «анврап» и таинственная «ретопология». В игрострое 3D-модели нужны в больших количествах с минимальным количеством полигонов.
В MMOne меня притянул друг под предлогом «ТЫЖАРХИТЕКТОР». Тут пришлось забыть о том, что мне хочется просто закидывать многополигональные модельки и жать кнопку «рендер-красиво». Началось low-poli и unwrap.
Именно тут мне показали виртуальную реальность! Демо Tuscany под Oculus DK1 произвело на меня впечатление разорвавшейся бомбы, я почувствовал себя внутри стереокартинки. Чувство было невероятно иммерсивным — и как архитектор, я сразу понял, куда это всё катится. Моя реальность больше не будет прежней после этого.
Появился вопрос: если я могу отсканировать реальность и создать игровые модели из этой информации, почему я не могу сделать игру про реальность? Это будет популяризировать сохранение архитектуры и даст толчок моему проекту создания цифровых паспортов фасадов.
О команде проекта
Мы познакомились в самый обычный вечер пятницы, прямо у подножия местного одесского бара. Дима просто кричал на собеседника: «Фотограмметрия! Фотограмметрия!» Я удивился: кто-то знает это слово? А оказалось, Дима Докунов, профессиональный оператор, изучает это направление более полугода, и у него уже начало получаться что-то толковое. Результаты его экспериментов превзошли мои ожидания, стало ясно с чего начинать. А именно — с самого нами любимого символа Одессы.
Рабочий процес на урбанистическом фестивале «Майстерня Міста», г. Львов
О необычных случаях в работе
Голову Дюка снимали довольно креативно, т.к. Арман Иммануилович забрался высоко. Дима создал такой себе длинный монопод из металлических труб, к которому на самый верх мы прилепили фотоаппарат и систему видеонаблюдения для дрона. У нас был только 50 мм фиксовый старый объектив, настроенный на определённую глубину резкости, Дима держал шест и видел кадр в очках, а я видел, на каком расстоянии фотокамера от скульптуры. Так мы делали кадр, потом мы делали шажочек в сторону. Нам даже кричали прохожие: «Эй, сумасшедшие! Что вы там делаете?»
А делали мы что-то из разряда «давайте походим вокруг Дюка» — прототип под Oculus DK2, который мы показали на iForum-2015. Стало немного легче объяснять людям, чем мы занимаемся, имея хоть что-то на руках. А то некоторые относились довольно скептически, и даже сообщали адрес психбольницы 🙂
К нам начали присоединятся люди: Егор Шевченко, опытный специалист в области игропроизводства с довольно внушительным количеством реализованных проектов; Яна Юхименко, менеджер маркетинговых проектов, которая у нас занимается коммуникациями; Саша Шаповал начал помогать нам с нелёгким делом программирования под Unity. А в роли технического советника к нам присоединился Андрей Маленко, главный научный сотрудник из Киевского Института кибернетики. И пошла работа над дальнейшими локациями. Появилась картина развития проекта и мы завели страницу в Facebook.
О текущей деятельности и планах на 2016-й
ОК, мы отсканировали реальность, что с этим делать дальше? Дальше стал вопрос, как развивать проект: коммерчески, или как общественное движение. Решение пришло после поездки в Варшаву, Польша, на Wolves Summit и нескольких месяцев, проведённых в исследовании украинского законодательства, регулирующего сохранение архитектуры. Мы поняли, что наибольшее влияние на ситуацию может оказать общественная организация — и в феврале 2016 года создали НГО в Одессе.
Сейчас мы начинаем сложный путь работы с грантами, начиная с малого, и двигаясь к большим проектам. При этом активно сканируем новые локации в сотрудничестве с разными организациями и проводим семинары.
Отсканированная деревянная хата, Музей Шевченковский Гай, г. Львов
Отсканированная церковь, Музей Шевченковский Гай, г. Львов
С весны начали писать микрогранты по проектам. Большинство из них давно продуманы — и мы ищем ситуации где их можно реализовать. Одна из идей — ездить по городам Украины и находить единомышленников, которые на местах смогли бы собирать материал для локаций. Мы хотели раздавать Google Cardboard, заинтересовывать людей к виртуальной реальности, показывать, что мы успели отснять — и отбирать активных фотографов из участников мероприятия. Проведение воркшопа по фотограмметрии и стало первым проектом, под который мы получили финансирование. Во Львове в рамках урбанистического фестиваля «Майстерня Міста» мы раздали около 100 Google Cardboard и нашли 5 фотографов-активистов. Основа для филиала положена 🙂
На ближайший период есть несколько векторов развития. Все они популяризируют идею использования цифровых методов для сохранения архитектуры и изменения общественного пространства. Условно мы их разделяем на прошлое, настоящее и будущее.
Дорога в прошлое от Pixelated Reconstruct
Представьте, что вы сможете отправиться на 100 лет назад и увидеть разрушенный в 1917 году рыбный ресторан возле Дюка, зайти вовнутрь, увидеть, как выглядел интерьер, повстречать хрестоматийных персонажей того времени, вроде Мишки Япончика, Рыбачки Сони. И приобрести 3D-печатный сувенир Дюка — отправить своему другу на другой конце света «привет из Одессы».
Мы уже отсканировали эту локацию, сейчас собираем историческую справку и фотографии для реконструкции ресторана.
Настоящее — в Pixelated Realities
Во всех своих путешествиях мы снимаем здания и скульптуры, интересные места, которые потом показываем «as is» в виртуальных турах на мобильном телефоне. На данный момент приложения есть только в apk-прототипах, но в планах превратить их в полноценно проработанные приложения для Android. На мероприятиях мы показываем туры в Google Cardboard и рассказываем людям о проблемах и возможностях мест, которые отсканированы.
Будущее — в Pixelated Polygon
Виртуальная реальность даёт возможность отправиться в будущее и увидеть, как будет выглядеть та или иная локация с точки зрения разных архитекторов и урбанистов. Представьте конкурс урбанистики, где мы даём возможность людям побывать в виртуальной реальности в масштабе 1:1, походить по локации и оценить конкурсные работы. Высказать свое мнение. Результаты голосования можно собрать и дополнить ими оценку жюри и заказчика (например, городской администрации).
Сейчас мы сотрудничаем с Александром Горенюком и его проектом «Подмостовье», который занимается ревитализацией Деволановского спуска в Одессе. Это — спуск в центральной части города, доведённый до состояния трущоб. Там часть застройки разрушена, и мы её «консервируем». Потом завалы расчистят, а людям можно будет показывать «как было». Дальше эта же локация пойдёт на конкурс, собираемся привлекать к нему украинских и иностранных специалистов. Среди прочего, такие конкурсы — возможность для молодых архитекторов проявить себя. Если ты такой талантливый, так пойди на «Цифровой полигон» и докажи это, не сиди на месте, получи возможность реализовать свои идеи!
Все проекты в дальнейшем будут помещаться на единую платформу, и их можно будет пролистать как пространственный слайдер. Кто всё это будет делать? Студенты-архитекторы, волонтёры поначалу — я был бы самым счастливым студентом, если б у меня была модель окружающей застройки при проектировании диплома. Я бы больше тратил время на поиск того самого смысла и наполнения, которое искусство архитектуры несёт, а не тягал точки в надежде замоделить что-то похожее вокруг своего здания.
Обучение — это наша программа изменения настоящего. Мы сейчас проводим практику для 10 студентов КНУБА в партнёрстве с платформой «Острів». Учим ребят делать фотограмметрию как зданий, так и своих макетов.
Я думаю, что если у студентов появится база 3D-моделей реальных частей городов, то в процессе обучения они будут больше понимать проблемы инфраструктуры, знать, что такое перспектива улицы, архитектурный ансамбль. Они смогут обмениваться друг с другом своими шедеврами, — в прямом смысле слова погулять друг у друга в идеях, с помощью виртуальной реальности.
О сотрудничестве с госструктурами и архитектурными активистами
Мы открыты к сотрудничеству с музеями и заповедниками, администрациями по сохранению исторической застройки. Сейчас активно знакомимся с другими ГО, вступаем в партнёрские проекты. В сферах наших интересов — всё, что требует сканирования и виртуальных туров, распространение идеи цифровых паспортов фасадов для исторической застройки, урбанистические конкурсы и ревитализация заброшенных локаций.
В последние месяцы график плотно забивается встречами и семинарами. Мы сотрудничаем с разными организациями Одессы, Киева, Львова. Среди них — «Подмостовье», заповедник Тустань, Львовский музей «Шевченковский Гай», Chornobyl 360. Налаживаем связи с политехническими и архитектурными институтами.
Рубка второго реактора ЧАЭС, проект реализован совместно с командой Chornobyl360
По медицинской тематике работаем с Обществом гипноза и психотерапии Украины. Организация работает над проектом помощи людям с посттравматическим стрессовым расстройством, применяя классические и современные методы, включая виртуальную реальность.
Сейчас ищем контакты и начинаем разрабатывать тему Киевского крематория — нас поразила эта история до глубины души. В 1982 году с подачи Первого секретаря украинской компартии был утоплен в бетоне барельеф опорной стены столичного крематория. Памятник был сделан в форме стены длиной 214 м и высотой от 4 до 14 м, вдоль которой проходили погребальные процессии. Это была лента последовательно разворачивающихся сцен из мировой истории и мифологии — от Прометея до восстановления после Второй Мировой войны. Художники-монументалисты Ада Рыбачук и Владимир Мельниченко работали над Стеной Памяти на Байковой горе почти 14 лет. За это время Стену Памяти успели прозвать советской Sagrada Familia.
А что если создать 3D-модель по сохранившемся эскизам художников, отсканировать крематорий, совместить то, что получилось в виртуальный тур… Показать, как это должно было выглядеть, затем, объединившись всеми общественными организациями, собрать на «Спільнокошт» хотя бы 10% необходимой суммы на реставрацию, а остальное найти у фондов — и вернуть к жизни этот удивительный памятник?
ЧИТАЙТЕ ТАКЖЕ:
О перспективах VR-стартапов
Развитие 3D-сканирования лежит в игрострое и киноиндустрии, тогда как виртуальная реальность станет нашим новым медиа и подготовит общество к принятию дополненной реальности. Именно на VR мы научимся производить контент, понимать фишки доступные только для виртуальной реальности, разработаем инструментарий и взрастим новое поколение специалистов, которое по-другому будут смотреть на мир. Так или иначе, всё идёт к смешанной реальности и единой мета-вселенной.
Сама виртуальная реальность имеет широкое применение в медицине, туризме, сфере недвижимости, обучении и тренингах, культуре и журналистике — и конечно, не забываем про грядущий VR-commerce. Очень скоро можно будет не только зайти в виртуальный магазин, но и примерить что-то на себя, совершить покупку.
Виртуальные интерфейсы способны замещать многочисленные рабочие мониторы, визуализировать сложные данные в более удобной для человека форме, такие вещи уже начинают применять финансовые брокеры.
Пока я рассказывал, что отсканирую крепости, Дэвид Финстервальдер из Realities.io уже сделал крепость в виртуальной реальности и показал это на VR Jam. Сегодня проект Realities уже работает на Steam с HTC Vive. Демонстрируют великолепную фотограмметрию — и создаётся первая в мире настоящая платформа виртуального туризма, доступ абсолютно бесплатно, разумеется.
Есть ещё наши «братья по безумию»: новозеландский проект Саймона Ше де Боера из Realityvirtual.com, работает на ПК-платформу, использует для просчёта геометрии Reality Capture и двигатель Unreal. Результаты впечатляют! Успехов ребятам.
Мы же собираемся популяризировать искусство и культуру Украины, и понимаем, что процент early adopters технологии виртуальной реальности, — тех, кто купит дорогостоящий шлем и компьютер — у нас в стране не так уж велик. Но зато Android — дело распространённое, а картонная коробка с линзами стоит «ничего» (если китайская) и до $20 оригинальная от Google. Более того, Cardboard можно сделать самому – это полностью open source. На мобильной платформе создавать конечно сложнее, но мы уже имеем достаточно опыта в адаптации контента. Сейчас собираемся на пару летних месяцев выпасть с командой в дауншифтинг: не ездить по мероприятиям, а доработать прототип до продукта для Google Daydream.