Пам’ятаєте в фільмах про Гаррі Поттера були фотографії, картини та листівки на яких зображені персонажі могли виражати емоції, посміхатися, махати рукою або зовсім з них піти? Тоді це викликало досить захоплюючі емоції. Зараз такі речі вже не здаються недосяжними. Але тільки представте, що персонаж не тільки робить все вищезазначене, але й ще може досить реалістично вийти з фотографії вам назустріч. Ну як, збурює мозок?
Розробники з Вашингтонського університету в Сієтлі створили алгоритм, який анімує об’єкти в нерухомих зображеннях, змушуючи їх рухатися. Співробітник університету Чунг-І Вен (Chung-Yi Weng) і пара його приятелів створили програму під назвою Photo Wake-Up, яка може «оживляти» центрального персонажа на фотографії, залишаючи іншу частину зображення недоторканою. Розробникам вдалося розв’язати головну проблему — навчити машинний зір визначати положення людини на двомірному зображенні.
Завдання досить складне, особливо якщо врахувати, що тіло може бути частково закрите, наприклад, коли людина на фото стоїть зі складеними руками. Це ускладнює визначення тривимірної структури за двовимірним зображенням.
До дослідників з Вашингтонського університету багато розробників намагалися розв’язувати цю проблему. Microsoft і Інститут інтелектуальних систем Макса Планка в Німеччині створили програму, яку Чунг-І Вен і його команда поклали в основу свого розробки.
Програма вирізала зображення людського тіла і накладала тривимірний скелет на вирізану фігуру. Потім скелет можна було анімувати, щоб створити відчуття руху. Програма могла вирізати зображення з голови до ніг, але технічно вона не могла визначити положення руки перед тілом, або положення ніг, коли хтось сидить зі схрещеними ногами й в цілому не створювала реалістичної анімації.
Команді Вена вдалося розв’язувати цю проблему. Вони знайшли спосіб обробити 2D-зображення таким чином, щоб створити реалістичну 3D-модель тіла. 2D-зображення ділиться на окремі зони – щось на зразок сітки. А потім, використовуючи алгоритми, визначає окремі частини тіла – голову, праву руку, праву ногу, ліву руку, ліву ногу і тулуб – і змінює кожну з них таким чином, щоб відповідати вихідному оригіналу.
Особливу увагу розробники приділяють голові, на яку, як правило, звертають увагу в першу чергу. «Точність в позі голови важлива для гарної анімації», – кажуть вони. Алгоритм також ідентифікує такі особливості, як напрям погляду і кут повороту голови, а потім використовує його, щоб отримати правильне положення голови й тіла в цілому.
Розробники визнають: їхні методи не досконалі, хоч і гарні. Тому команда також розробила користувацький інтерфейс, який дозволяє самостійно виправляти будь-які помилки та детально налаштовувати анімацію.
Кінцевий результат – дивовижна анімаційна фотографія. Алгоритм визначає людське тіло на фотографії, вирізає його з зображення і заповнює порожню область за допомогою алгоритму заповнення. Потім він анімує тіло в трьох вимірах, змушуючи його «виходити» з фотографії, бігати, стрибати або махати руками. Алгоритм працює навіть в форматі доповненої реальності.
Команда випустила відео, що показує метод і результати їх роботи.
БІЛЬШЕ ЦІКАВОГО: