新版的IphoneX是一臺動作捕捉設備,你知道怎麼玩嗎

你有了iPhoneX,經常用裡面的Animoji麼?知道里面的原理麼?今天,我們一起來看看大神們如何利用iPhone X把Anmoji玩出另一個境界。

Animoji是一個能與人表情同步的動畫表情,它是通過蘋果新的Face ID硬件,捕捉用戶臉部數據生成表情的同時,從用戶語音輸入自動生成的同步唇形,達到實時動畫表情的符號形式。Animoji是循環的動畫,可以通過蘋果自己的短信應用程序記錄和發送出去。

新版的IphoneX是一臺動作捕捉設備,你知道怎麼玩嗎

可以說蘋果10的新功能“animoji”在實時渲染的3D卡通人物與用戶之間搭建了一個交互橋樑,從而拉近了增強現實與消費者的距離。蘋果這項技術的實現,得益於2015年收購了瑞士的初創公司Faceshift,後來進一步發展成為Animoji。

新版的IphoneX是一臺動作捕捉設備,你知道怎麼玩嗎

那麼它是如何實現的呢?其實蘋果Face ID基礎技術是一個由點陣投影機,紅外攝像機和泛光照明裝置組成的全新True Depth攝像機系統。它採用一種雙核設計的A11仿生神經引擎,能夠執行高達每秒6000億次實時處理操作。這個技術與iPhone改良的前置攝像頭相結合,能夠捕捉和分析50種不同的面部肌肉動作,然後在十幾種不同的Animoji中對這些表情進行動畫處理。最後就我們看到自己的表情與動畫角色同步的Animoji了。

這項技術在發佈後,很多人對它產生了濃厚的研究興趣。對於我們行業內的大神來說更是玩出了花樣。這其中包括我們臺灣的一個VFX藝術家Elisha Hung。

新版的IphoneX是一臺動作捕捉設備,你知道怎麼玩嗎

他通過Apple的ARKit訪問Animoji生成的面部網格,然後提取了裡面的數據,將其寫入了一個自定義文件。並使用Python SOP將數據導入Houdini裡,將其轉換成了傳統的可編輯的3D文件。

面部動作捕捉演示

儘管對於其中的轉換過程不是特別清楚,但這從側面展示了IPhone X可以用來作專業級表演捕捉工具。當然,這不能拿IPhone X來與Andy Serkis的表演相比較,但起碼大量的表演可以被大眾所接受。

但上面這位小夥玩的還不是最高端的。來自洛杉磯Kite&Lighting數字工作室的Cory Strassburger將這個概念升級到了一個新水平。他使用iPhone X,一個為手機專門定製的APP,一個自制的頭盔裝置,和一個Xsens Link性能捕捉服裝,竟然玩出了一個全身的動捕設備。你們來感受下這畫風~

新版的IphoneX是一臺動作捕捉設備,你知道怎麼玩嗎

Strassburger添加了眼睛動態跟蹤,頭部動作和改進了混合形狀,並將錄製的面部數據從iPhone導入到Maya中。

這個過程大致是這樣的:

用Unity掛接到Apple ARKit上,以60fps速率輸出51通道的混合數據。從遊戲中導入一個WIP角色頭像,將獲取的51個數據通道連接到角色,在iPhone本地文件寫一個方法將數據記錄到文本。從這裡複製手機中的文件,並通過寫入的轉換器運行文本,將文本文件轉換成maya格式,然後像往常Unity操作一樣驅動混合形狀。無需Maya的插件。

最後,第三個測試Strassburger將臉部捕捉與Xsens緊身衣的全身捕捉相結合,就是下面這個視頻我們看到的樣子了。

全身動作捕捉演示

他這麼做的意義是,想看看是否可以用iPhone X是否可以用於虛擬現實遊戲中的便宜且快速的面部動作捕捉。

新版的IphoneX是一臺動作捕捉設備,你知道怎麼玩嗎

從Iphone X的Animoji誕生,到藝術家Hung的轉換成Maya網格,再到Strassburger一步步測試,最終變成高質量的全身動捕系統,不得不說CG藝術家們的真的很會玩。但,這樣的操作也為增強現實領域增添了更多的創作力。

新版的IphoneX是一臺動作捕捉設備,你知道怎麼玩嗎

和蘋果公司的其他產品一樣,Animoji不是什麼革命性的技術,但是蘋果公司的迭代對於增強現實來說是一個值得關注的事情,因為它規範了大眾消費者的通信動畫角色。

從過去幾年來看,蘋果和任天堂等公司紛紛搭上這趟車,可以肯定的說增強現實技術會越來越普及。隨著科技日益成熟和複雜化,它將成為動畫師和角色設計師開闢創新的可能性,這些角色設計師很快就會創作更多動畫角色,讓人們更多的積極參與進來成為動畫角色。


分享到:


相關文章: