«Возле Дюка нам кричали: “Эй, что вы делаете?”» — Фёдор Бойцов, Pixelated Realities

Pixelated Realities — некоммерческая гражданская организация с необычной технической специализацией: ребята занимаются виртуальной реальностью и 3D-сканированием. Их цель — продвижение цифровых методов для сохранения культурного наследия и изменения общественного пространства. Команда сканирует памятники архитектуры методом фотограмметрии и создаёт виртуальные туры под мобильный телефон и Google Cardboard.

Среди уже отсканированных локаций — площадь Дюка в Одессе, Деволановский спуск, памятники основателям Одессы, бывший рыбный ресторан возле Дюка, Майдан, «Шевченковский Гай». Мы поговорили с основателем Pixelated Realities Фёдором Бойцовым о том, зачем нужны виртуальные туры в Украине и что такое фотограмметрия.

13268267_1551987345105850_3534737963654103386_o_0116700465

С чего всё начиналось

Pixelated Realities начались с машины времени в картонной коробке 🙂 Хотя, если начинать с самого начала, то конечно нужно сказать о том, что я — архитектор и родился в Одессе.

Одессе, как мы знаем всего 222 года, и во времена её развития, всё делалось очень по-имперски помпезно и модными архитекторами, но из гипса и очень быстро. А гипс — он разрушается. Все эти «вензеля» и скульптуры, построенные из местного ракушечника, декорированных коробочек нуждаются в постоянном косметическом ремонте.

Одессу, помимо всего прочего, планировали как южный курорт. «Южная Пальмира» — но вся эта мнимая субтропическая курортность была развеяна неслабыми морозами (до -30°С). Маркизы, некогда украшавшие фасады, канули в лету — и город стал свидетелем последствий циклов заморозки и разморозки гипсового декора.

Насколько известно, раньше хранили мастер-модели и литьевые формы декора прямо на чердаках. При необходимости даже жильцы могли выйти в субботу, ну или, простите, в воскресенье, замешать гипс, отлить пару барельефов и приклеить на стену.

И тут пришёл СССР. Всё собрать, посчитать, классифицировать, разместить на хранение. Нормальная идея в принципе, — но СССР закончился, а с этим начались новые проблемы и бедствия для уже ставших памятниками архитектуры зданий. Содержать целые ангары с формами и мастер-моделями стало просто нерентабельно, и значительная часть материалов была утрачена.

Я столкнулся с этим впервые, когда 10 лет назад в Одессе сгорел дом Руссова, известный по аптеке Гаевского. Здание утратило купол и получило ощутимые повреждения. Прошли месяцы после пожара, а ничего не изменялось, казалось бы, никто ничего делать не собирается. И вот я не выдержал и пошёл в архитектурное бюро, которое занимается реставрацией этого памятника.

Я спросил: «Так что, мы сейчас возьмём из базы 3D-модели декора и отпечатаем на 3D-принтере мастер модели, а потом всё это передадим скульпторам на тиражирование?»

Оказалось, что наяву есть только материалы стереометрии 80-х годов ХХ века, бумажные чертежи и кальки, — и даже не хватает материалов фотофиксации. Мастер-модели и литьевые формы декора отсутствуют в полном объёме. Некоторые скульптуры отреставрированы просто кирпичами — представьте, вот прямо так выложено кирпичами, и никто не знает, как они выглядели в оригинале. И это в ХХІ веке!

«Как же так, потомки?»

«Как же так, потомки?»

Я задумался, почему нет такого цифрового паспорта фасада? Представьте себе набор 3D-моделей высокоточно отсканированных элементов декора здания, размещённых на чертежах фасадов. Их можно отправить на 3D-принтер или отфрезеровать по надобности, передать скульпторам мастер-модели в натуре, любой элемент можно измерить или создать необходимый разрез в 2 клика мыши. Такая информация позволит значительно сократить время и упростить коммуникацию смежников при производстве реставрационных работ.

Декор — вещь материальная, имеющая габаритные размеры, и для того, чтобы создать серию подобных элементов вам необходимо иметь хотя бы мастер-модель. При её наличии все выглядит неплохо, мы просто берём и тиражируем объект с незначительной потерей точности. Но, что происходит при отсутствии мастер-модели? Выбираются наименее повреждённые модели, и из здоровых частей формуется в один мастер-«франкенштейн», с последующей доработкой и потерей точности. За три секунды, две копейки — и, к сожалению, не всегда при этом профессионалами.

С другой стороны, в компьютере легко объединить повреждённые части в одну целую, без потери точности, и сохранить пластику мастеров, даже если придётся менять габаритные размеры. А при реконструкции этого не избежать, ведь застройщик захочет добавить на первом этаже супермаркет, под зданием — парковку, а сверху пристроить, в лучшем случае, пару этажей. Такие вмешательства в оригинальную тектонику памятников архитектуры несут деструктивный характер и зачастую приводят к значительным изменениям несущих конструкций, сами пропорции фасадов могут быть «слегка изменены». Это может повлечь за собой изменения размеров оригинального декора и потерю аутентичности памятника.

А если бы модели находились в облачном хранилище, пусть их даже не напечатают на 3D-принтере — они бы использовались как эталон для оценки качества работ и упрощали коммуникации между смежниками.

О технологиях, которые помогают оцифровать ландшафты и памятники

Чтобы создать виртуальный тур, мы сначала сканируем объект, потом получаем из этого материала 3D-модель — и используем их для создания игровой локации на Unity.

3D-модели можно моделить вручную, но, в случае создания чего-то точного, необходимо применять 3D-сканирование. Есть много способов это делать. В процессах сохранения архитектуры и культурного наследия наиболее широко применяется лазерный сканер — Lidar. У него есть множество преимуществ. Например, он может покрывать большие площади здания одновременно и работать бесконтактно. Но это — дорогая машина, она не всегда может отсканировать труднодоступные места (крыши, подмостовья), кроме того, требуется обученный оператор.


Процесс съёмки для фотограммерии на Тустани

Зато эти проблемы может решить обычная фотокамера. Фотограмметрия — это метод получения 3D-моделей из фотографий: не такой точный, как лазер, зато намного более реалистичный в текстурном отношении. Это — самый дешёвый метод 3D-сканирования. Всё, что нужно — иметь минимум 5-мегапиксельный фотоаппарат, желательно с 50 мм объективом и хотя бы один указательный палец, для того чтобы клацать по кнопке спуска + относительно недорогой компьютер и ПО. Например, можно использовать программу Reality Capture, которая сейчас находится в бета-версии. В своей рекламе проект обещает дать возможность создавать целые части городов на ноутбуке за одну ночь.


Пример фотограмметрии мелких объектов

Разобраться в геймдеве мне пришлось, когда я попал в проект MMOne. Я всегда думал, что разработка компьютерных игр — это «чёрная магия», а разработчики игр — чернокнижники и программисты. Они знают, что такое «анврап» и таинственная «ретопология». В игрострое 3D-модели нужны в больших количествах с минимальным количеством полигонов.

В MMOne меня притянул друг под предлогом «ТЫЖАРХИТЕКТОР». Тут пришлось забыть о том, что мне хочется просто закидывать многополигональные модельки и жать кнопку «рендер-красиво». Началось low-poli и unwrap.

Именно тут мне показали виртуальную реальность! Демо Tuscany под Oculus DK1 произвело на меня впечатление разорвавшейся бомбы, я почувствовал себя внутри стереокартинки. Чувство было невероятно иммерсивным — и как архитектор, я сразу понял, куда это всё катится. Моя реальность больше не будет прежней после этого.

Появился вопрос: если я могу отсканировать реальность и создать игровые модели из этой информации, почему я не могу сделать игру про реальность? Это будет популяризировать сохранение архитектуры и даст толчок моему проекту создания цифровых паспортов фасадов.

О команде проекта

Мы познакомились в самый обычный вечер пятницы, прямо у подножия местного одесского бара. Дима просто кричал на собеседника: «Фотограмметрия! Фотограмметрия!» Я удивился: кто-то знает это слово? А оказалось, Дима Докунов, профессиональный оператор, изучает это направление более полугода, и у него уже начало получаться что-то толковое. Результаты его экспериментов превзошли мои ожидания, стало ясно с чего начинать. А именно — с самого нами любимого символа Одессы.

Рабочий процес на урбанистическом фестивале «Майстерня Міста», г. Львов

Рабочий процес на урбанистическом фестивале «Майстерня Міста», г. Львов

О необычных случаях в работе

Голову Дюка снимали довольно креативно, т.к. Арман Иммануилович забрался высоко. Дима создал такой себе длинный монопод из металлических труб, к которому на самый верх мы прилепили фотоаппарат и систему видеонаблюдения для дрона. У нас был только 50 мм фиксовый старый объектив, настроенный на определённую глубину резкости, Дима держал шест и видел кадр в очках, а я видел, на каком расстоянии фотокамера от скульптуры. Так мы делали кадр, потом мы делали шажочек в сторону. Нам даже кричали прохожие: «Эй, сумасшедшие! Что вы там делаете?»

10926779_10152776446625958_4180378003538221627_o

А делали мы что-то из разряда «давайте походим вокруг Дюка» — прототип под Oculus DK2, который мы показали на iForum-2015. Стало немного легче объяснять людям, чем мы занимаемся, имея хоть что-то на руках. А то некоторые относились довольно скептически, и даже сообщали адрес психбольницы 🙂

К нам начали присоединятся люди: Егор Шевченко, опытный специалист в области игропроизводства с довольно внушительным количеством реализованных проектов; Яна Юхименко, менеджер маркетинговых проектов, которая у нас занимается коммуникациями; Саша Шаповал начал помогать нам с нелёгким делом программирования под Unity. А в роли технического советника к нам присоединился Андрей Маленко, главный научный сотрудник из Киевского Института кибернетики. И пошла работа над дальнейшими локациями. Появилась картина развития проекта и мы завели страницу в Facebook.

О текущей деятельности и планах на 2016-й

ОК, мы отсканировали реальность, что с этим делать дальше? Дальше стал вопрос, как развивать проект: коммерчески, или как общественное движение. Решение пришло после поездки в Варшаву, Польша, на Wolves Summit и нескольких месяцев, проведённых в исследовании украинского законодательства, регулирующего сохранение архитектуры. Мы поняли, что наибольшее влияние на ситуацию может оказать общественная организация — и в феврале 2016 года создали НГО в Одессе.

Сейчас мы начинаем сложный путь работы с грантами, начиная с малого, и двигаясь к большим проектам. При этом активно сканируем новые локации в сотрудничестве с разными организациями и проводим семинары.


Отсканированная деревянная хата, Музей Шевченковский Гай, г. Львов


Отсканированная церковь, Музей Шевченковский Гай, г. Львов

С весны начали писать микрогранты по проектам. Большинство из них давно продуманы — и мы ищем ситуации где их можно реализовать. Одна из идей — ездить по городам Украины и находить единомышленников, которые на местах смогли бы собирать материал для локаций. Мы хотели раздавать Google Cardboard, заинтересовывать людей к виртуальной реальности, показывать, что мы успели отснять — и отбирать активных фотографов из участников мероприятия. Проведение воркшопа по фотограмметрии и стало первым проектом, под который мы получили финансирование. Во Львове в рамках урбанистического фестиваля «Майстерня Міста» мы раздали около 100 Google Cardboard и нашли 5 фотографов-активистов. Основа для филиала положена 🙂

4index

На ближайший период есть несколько векторов развития. Все они популяризируют идею использования цифровых методов для сохранения архитектуры и изменения общественного пространства. Условно мы их разделяем на прошлое, настоящее и будущее.

Дорога в прошлое от Pixelated Reconstruct

Представьте, что вы сможете отправиться на 100 лет назад и увидеть разрушенный в 1917 году рыбный ресторан возле Дюка, зайти вовнутрь, увидеть, как выглядел интерьер, повстречать хрестоматийных персонажей того времени, вроде Мишки Япончика, Рыбачки Сони. И приобрести 3D-печатный сувенир Дюка — отправить своему другу на другой конце света «привет из Одессы».

Мы уже отсканировали эту локацию, сейчас собираем историческую справку и фотографии для реконструкции ресторана.

Настоящее — в Pixelated Realities

Во всех своих путешествиях мы снимаем здания и скульптуры, интересные места, которые потом показываем «as is» в виртуальных турах на мобильном телефоне. На данный момент приложения есть только в apk-прототипах, но в планах превратить их в полноценно проработанные приложения для Android. На мероприятиях мы показываем туры в Google Cardboard и рассказываем людям о проблемах и возможностях мест, которые отсканированы.

Будущее — в Pixelated Polygon

Виртуальная реальность даёт возможность отправиться в будущее и увидеть, как будет выглядеть та или иная локация с точки зрения разных архитекторов и урбанистов. Представьте конкурс урбанистики, где мы даём возможность людям побывать в виртуальной реальности в масштабе 1:1, походить по локации и оценить конкурсные работы. Высказать свое мнение. Результаты голосования можно собрать и дополнить ими оценку жюри и заказчика (например, городской администрации).

Сейчас мы сотрудничаем с Александром Горенюком и его проектом «Подмостовье», который занимается ревитализацией Деволановского спуска в Одессе. Это — спуск в центральной части города, доведённый до состояния трущоб. Там часть застройки разрушена, и мы её «консервируем». Потом завалы расчистят, а людям можно будет показывать «как было». Дальше эта же локация пойдёт на конкурс, собираемся привлекать к нему украинских и иностранных специалистов. Среди прочего, такие конкурсы — возможность для молодых архитекторов проявить себя. Если ты такой талантливый, так пойди на «Цифровой полигон» и докажи это, не сиди на месте, получи возможность реализовать свои идеи!

3index

Все проекты в дальнейшем будут помещаться на единую платформу, и их можно будет пролистать как пространственный слайдер. Кто всё это будет делать? Студенты-архитекторы, волонтёры поначалу — я был бы самым счастливым студентом, если б у меня была модель окружающей застройки при проектировании диплома. Я бы больше тратил время на поиск того самого смысла и наполнения, которое искусство архитектуры несёт, а не тягал точки в надежде замоделить что-то похожее вокруг своего здания.

Обучение — это наша программа изменения настоящего. Мы сейчас проводим практику для 10 студентов КНУБА в партнёрстве с платформой «Острів». Учим ребят делать фотограмметрию как зданий, так и своих макетов.

2index

Я думаю, что если у студентов появится база 3D-моделей реальных частей городов, то в процессе обучения они будут больше понимать проблемы инфраструктуры, знать, что такое перспектива улицы, архитектурный ансамбль. Они смогут обмениваться друг с другом своими шедеврами, — в прямом смысле слова погулять друг у друга в идеях, с помощью виртуальной реальности.

О сотрудничестве с госструктурами и архитектурными активистами

Мы открыты к сотрудничеству с музеями и заповедниками, администрациями по сохранению исторической застройки. Сейчас активно знакомимся с другими ГО, вступаем в партнёрские проекты. В сферах наших интересов — всё, что требует сканирования и виртуальных туров, распространение идеи цифровых паспортов фасадов для исторической застройки, урбанистические конкурсы и ревитализация заброшенных локаций.

В последние месяцы график плотно забивается встречами и семинарами. Мы сотрудничаем с разными организациями Одессы, Киева, Львова. Среди них — «Подмостовье», заповедник Тустань, Львовский музей «Шевченковский Гай», Chornobyl 360. Налаживаем связи с политехническими и архитектурными институтами.


Рубка второго реактора ЧАЭС, проект реализован совместно с командой Chornobyl360

По медицинской тематике работаем с Обществом гипноза и психотерапии Украины. Организация работает над проектом помощи людям с посттравматическим стрессовым расстройством, применяя классические и современные методы, включая виртуальную реальность.

Сейчас ищем контакты и начинаем разрабатывать тему Киевского крематория — нас поразила эта история до глубины души. В 1982 году с подачи Первого секретаря украинской компартии был утоплен в бетоне барельеф опорной стены столичного крематория. Памятник был сделан в форме стены длиной 214 м и высотой от 4 до 14 м, вдоль которой проходили погребальные процессии. Это была лента последовательно разворачивающихся сцен из мировой истории и мифологии — от Прометея до восстановления после Второй Мировой войны. Художники-монументалисты Ада Рыбачук и Владимир Мельниченко работали над Стеной Памяти на Байковой горе почти 14 лет. За это время Стену Памяти успели прозвать советской Sagrada Familia.

А что если создать 3D-модель по сохранившемся эскизам художников, отсканировать крематорий, совместить то, что получилось в виртуальный тур… Показать, как это должно было выглядеть, затем, объединившись всеми общественными организациями, собрать на «Спільнокошт» хотя бы 10% необходимой суммы на реставрацию, а остальное найти у фондов — и вернуть к жизни этот удивительный памятник?

ЧИТАЙТЕ ТАКЖЕ:

О перспективах VR-стартапов

Развитие 3D-сканирования лежит в игрострое и киноиндустрии, тогда как виртуальная реальность станет нашим новым медиа и подготовит общество к принятию дополненной реальности. Именно на VR мы научимся производить контент, понимать фишки доступные только для виртуальной реальности, разработаем инструментарий и взрастим новое поколение специалистов, которое по-другому будут смотреть на мир. Так или иначе, всё идёт к смешанной реальности и единой мета-вселенной.

Сама виртуальная реальность имеет широкое применение в медицине, туризме, сфере недвижимости, обучении и тренингах, культуре и журналистике — и конечно, не забываем про грядущий VR-commerce. Очень скоро можно будет не только зайти в виртуальный магазин, но и примерить что-то на себя, совершить покупку.

Виртуальные интерфейсы способны замещать многочисленные рабочие мониторы, визуализировать сложные данные в более удобной для человека форме, такие вещи уже начинают применять финансовые брокеры.

Пока я рассказывал, что отсканирую крепости, Дэвид Финстервальдер из Realities.io уже сделал крепость в виртуальной реальности и показал это на VR Jam. Сегодня проект Realities уже работает на Steam с HTC Vive. Демонстрируют великолепную фотограмметрию — и создаётся первая в мире настоящая платформа виртуального туризма, доступ абсолютно бесплатно, разумеется.

Есть ещё наши «братья по безумию»: новозеландский проект Саймона Ше де Боера из Realityvirtual.com, работает на ПК-платформу, использует для просчёта геометрии Reality Capture и двигатель Unreal. Результаты впечатляют! Успехов ребятам.

Мы же собираемся популяризировать искусство и культуру Украины, и понимаем, что процент early adopters технологии виртуальной реальности, — тех, кто купит дорогостоящий шлем и компьютер — у нас в стране не так уж велик. Но зато Android — дело распространённое, а картонная коробка с линзами стоит «ничего» (если китайская) и до $20 оригинальная от Google. Более того, Cardboard можно сделать самому – это полностью open source. На мобильной платформе создавать конечно сложнее, но мы уже имеем достаточно опыта в адаптации контента. Сейчас собираемся на пару летних месяцев выпасть с командой в дауншифтинг: не ездить по мероприятиям, а доработать прототип до продукта для Google Daydream.

Читайте также:

Цікаві природні явища на Марсі та їх наслідки

Теорії змови про 5G, або чому люди бояться нових технологій

Подальші плани NASA або для чого потрібна місячна космічна станція?

Як стати дата-саентістом: сім більш зручних способів, ніж онлайн-курси