Photo Wake-Up 讓海報上的梅西、漫畫裡的悟空,都被AI 喚醒了!

本篇出自合作媒體「愛范兒」經授權刊登於本站

今天要介紹的新技術 Photo Wake-Up ,可能會讓不少人有個大膽的想法。因為2D 形像變成3D「活物」,不再是魔法。你可能還記得《哈利·波特》裡的神奇世界,報紙上的照片會動,牆壁上的名人畫像能說話,甚至開門入戶都要與「門神」胖夫人暗號問答一番。

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

但,是,現,在,AI 就是我輩麻瓜的神奇魔法。

無論你想「復活」的是梅西.jpg、庫裡.png,還是詹姆斯.jpeg,抑或希望新垣結衣.tiff、波多野結衣.Raw「動起來」!

這項名為照片喚醒(Photo Wake-Up)的新技術,都能讓你得償所望。

不信?先牛刀小試亮亮相~

它可以讓你最愛的體育明星,詹姆斯、梅西、庫裡從照片裡跑出來:

Photo Wake-Up

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

相信我,走出來的庫裡真的是3D 的:

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

它還能賦予二次元角色以力量:

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

把鋼鐵俠帶到你身邊:

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

甚至抽像畫都能搞的定,畢加索《瑪雅和玩具船》中的主角可以走出來,像人類那樣活動四肢:

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

你還可以藉此把角色們AR/VR 化,只要動動手指,它們就能出現在你身邊的世界:

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

不管是照片、卡通還是抽象角色,但凡有個人樣,照片喚醒技術都能喚醒它們體內沉睡的靈魂,讓它們從二維化世界中甦醒過來。

有了這項技術,或許遊戲、動畫製作行業的設計師們可能要開心壞了,只要畫個2D 的角色,自動就能變成3D。

看到這些效果展示,有網友表示可能這就是和女神距離最近的一次了。

恭喜恭喜~

原理揭秘

這些心水的動漫人物和體育明星,是怎麼一下子從畫裡走出來,而且還會動、變立體了?

在論文Photo Wake-Up: 3D Character Animation from a Single Photo中,研究人員來了一次完完整整的大、揭、秘

研究人員表示,讓主角從平面靜態圖像裡走出來,最難的地方就是要在系統中重建一個「虛擬人」。虛擬人必須能透過厚重的衣物,精確對應到畫中人物的身體輪廓。

頭對頭,肩並肩,手腕對手腕……當虛擬人的骨骼架構完全匹配到畫中人,也就意味著你的男神/女神離動起來就不遠了。

整個操作過程,其實只用了三步:

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

我們一步一步看,研究人員的第一步就是:分割紙片人。

研究人員利用現成的圖像分割算法,將畫中人的軀幹、四肢分割,再用人體姿態估計,提取畫中人的2D骨骼關鍵點,忽略厚重的衣服,擬合出一種半裸的可塑3D模型,稱為SMPL模型(Skinned Multi-Person Linear Model)。

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

此時,無論是男神還是女神,現在都已經簡化成看不出年齡和样貌的「石膏人」了。重要的第二波操作馬上開始。

第二步:細化紙片人3D模型

紙片人跑不跑,全看3D 模型好不好。這一步,研究人員開始細化紙片人的3D 模型了。

若紙片人運動,身體各部分間難免產生輪廓的重合。完美的模型能夠匹配到紙片人的身體輪廓,還能識別這種自我遮蔽(self-occlusion)現象的出現。

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

▲ 比如這樣

怎樣在自我遮蔽出現時保證模型的準確性?研究人員想了個主意:先將SMPL模型映射到2D世界對準輪廓,調好再次轉換成3D模型確保精確度。

在映射到2D世界時,研究人員將SMPL模型轉換成了兩種不同的映射形式,一種是肌肉隱約可見的普通圖(Normal Map),一種是五顏六色區分了身體不同部位的皮膚圖(Skinning Map)。

二者合一,轉換成3D 模型後,姿態可動的3D 人來了!

最後,研究人員用CMU的Mo-cap人體動作數據集餵給模型,數據集中的人物動作,現在可以遷移到你的紙片人身上了。

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

▲ 6 幅圖中主角「出走」效果;每幅圖左為原圖,右為結果

此時,如果有一個AR 眼鏡,戴上,手指比個心,心愛的「紙片人」就被點活,從畫中出走了。

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

隨後,研究人員對103 名志願者進行了調查,86% 的被調查志願者認為Photo Wake-Up 的效果超越了前人所做。

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

艾倫學院三人組

這項研究的三位作者,都來自華盛頓大學保羅·艾倫計算機科學與工程學院。

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

一作翁仲毅,一位台灣小哥哥,現在是華盛頓大學保羅·艾倫計算機科學與工程學院圖形圖像實驗室(GRAIL)的博士,他本碩畢業於台大計算機與信息工程系,讀博士前曾在台灣訊連科技做技術主管,最近還在Facebook 實習。

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

二作Brian Curless,華盛頓大學保羅·艾倫計算機科學與工程學院教授,斯坦福電氣工程博士。

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

三作Ira Kemelmacher-Shlizerman 小姐姐,以色列魏茨曼科學研究所計算機科學與應用數學博士,華盛頓大學保羅·艾倫計算機科學與工程學院助理教授。

同時,因為自己創立的公司Dreambit LLC 被Facebook 收購了,所以自從2016 年起她還是Facebook 的AR/VR 研究科學家,並且長期擔任CVPR 和SIGGRAPH 的區域主席和技術委員會成員。

這個研究團隊,從一作到三作,那是一個比一個厲害。

量子位此前介紹過的桌面足球,就是二三作兩位教授的作品;

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

還有假裝拉小提琴的Facebook AI,也是三作小姐姐參與的研究。

紙片人活了! 海報上的梅西、漫畫裡的悟空,都被AI喚醒

感謝作者們的研究,從此地球人再也不怕被《三體》中的二向箔攻擊了,就算被壓成紙片片,我們也可以把自己復原回3D。

您也許會喜歡:

ifanr 愛范兒的頭像
ifanr 愛范兒
愛范兒連接全球創新者及消費者,跨界技術、文化、消費及創新,致力消費科技領域的產業評論、產品報導及社群連接,創造高品質的消費樂趣。