Інженери з Google навчилися створювати реалістичну модель людини, що рухається і вбудовувати її в віртуальний простір

Інженери з Google навчилися створювати реалістичну модель людини, що рухається і вбудовувати її в віртуальний простір, змінюючи освітлення моделі відповідним чином. Вони створили стенд із кількома десятками камер та сотнями керованих джерел освітлення, всередині якого знаходиться людина. Система швидко змінює освітлення та знімає людину з різних боків, а потім поєднує ці дані та створює модель, яка з високою точністю описує як форму тіла та одягу, так і їх оптичні властивості. Розробка буде представлена ​​на конференції SIGGRAPH Asia 2019, стаття про неї опублікована на сайті авторів.

Технології захоплення руху та створення віртуальних аватарів вже не перший рік використовуються у різних сферах. Деякі з них (наприклад, ті, які застосовують під час зйомок фільмів) засновані на захопленні саме рухів обличчя та інших частин тіла, записи чого потім використовуються для анімації іншого персонажа. У тих випадках, коли важливо зберігати зовнішній вигляд людини, використовуються системи з багатьох камер.

Деяким розробникам у цій сфері вдалося досягти досить якісних результатів. Наприклад, Intel використовує на деяких спортивних стадіонах систему, що дозволяє відтворювати повтори з будь-якого ракурсу. Однак такі системи не вміють збирати дані про оптичні властивості предметів і модель, яку одержують за їх допомогою, не можна реалістично перенести в оточення з іншим освітленням.

Група інженерів Google під керівництвом Пола Дебевека (Paul Debevec) та Шахрама Ізаді (Shahram Izadi) створила знімальний стенд та програмне забезпечення, що дозволяють створювати модель, яка реалістично відображає як форму, так і оптичні властивості людини в русі, а також переносити цю модель в інше оточення і підлаштовувати освітлення під нього.

Стенд має практично сферичну конструкцію з отвором, через який входить людина. На стійках, з яких складається сфера, встановлений 331 блок освітлення, кожен з яких складається з окремих світлодіодів певного кольору, 42 кольорові камери, а також 16 блоків захоплення глибини, кожен з яких складається з однієї кольорової та двох інфрачервоних камер та інфрачервоного лазерного проектора . Оскільки система створює величезний обсяг даних, їхня обробка відбувається на хмарних серверах.

Під час роботи лазер проектує на людину інфрачервоний візерунок, що складається з тонких ліній. Завдяки цьому система може з високою точністю відновлювати форму людини, порівнюючи одержувані інфрачервоні дані з вихідним візерунком. Світлодіоди проектують на людину світло з потрібним просторовим розподілом, причому вони швидко (60 разів на секунду) чергують два колірні градієнти, зворотні один одному. Це дозволяє створювати не лише карту розподілу кольору на тілі та одязі, а й карту відображення, яка дозволяє надалі програмним чином змінювати освітлення людини, реалістично вбудовуючи її в нове оточення.

Автори порівняли свою розробку із попередніми схожими системами. Нова система дозволяє отримувати модель з більш високою роздільною здатністю, а також меншою кількістю артефактів. Крім того, вона набагато краще працює з об'єктами, що швидко рухаються в кадрі, наприклад, підкидається м'ячем. Розробники також створили демонстраційний додаток для смартфона, який працює в режимі доповненої реальності та реалістично вбудовує модель людини у світ перед смартфон. Воно працює на основі попередньої розробки, яка визначає характеристики освітлення та відображення об'єктів за даними з камери.

Раніше цього року група Пола Девебека представила іншу програмно-апаратну розробку, що дозволяє досягати незвичайних візуальних ефектів. Вони зібрали прототип світлопольної камери з 16 камер GoPro, і використовували алгоритми, що дозволяють розбивати сцену, що знімається, на окремі площини, впорядковані в міру віддалення від камери. Це дозволяє надалі вже після зйомки змінювати її ракурс чи глибину різкості, а також стабілізувати ролик та видаляти з нього об'єкти.

Інші новини