非常突破性的進步
（映維網 2019年05月05日 ）Oculus Rift S在今年遊戲開發者大會GDC上發佈之後迎來了一些從業者的質疑聲，因為他們希望看到的是備受期待的Rift 2，而不是一款Oculus Rift改進版。面對這種情況，Oculus在採訪回應中解釋說Oculus Rift 2太具顛覆性而不適合現在推出。
在這些採訪回應中，Oculus也透露說第二代VR頭顯應該具備全身動捕追蹤功能，言下之意Oculus Rift 2可能會具備這些功能。這顯然有點不可思議，因為當下的全身動捕追蹤技術非常笨重龐大，需要大量的外部設備，如慣性傳感器、馬克點標記等等。而且相對於一款消費者設備，當前市面上的動捕系統都是面向企業端，定價高達數萬數十萬。
1. Facebook無標記動捕
然而這種疑問都在今年的Facebook F8大會上被揮去，因為Facebook正式介紹了他們的解決方案，而這有望顛覆全身動捕市場。在Facebook F8大會的第二天主題演講中，Oculus公司的Research Supervisor Ronald Mallet登臺介紹了這一研究成果。
Ronald Mallet說：“我們的Codec Avatar技術在捕獲面部方面實現了突破性的逼真感，但真正的人類交流需要完整的身體語言。”
Ronald Mallet表示現有的動捕技術擴展至VR面臨多個挑戰，需要大量的硬件，大量的人工，大量的數據，以及大量的時間來打造一個虛擬化身，這導致動捕技術難以擴展並廣泛地用於VR，並且不能允許用戶定製自己的虛擬化身。
為了解決這個挑戰，所以Facebook開發了一種無標記的動捕技術，在有限的傳感器數量下，利用人工智能技術來複刻完整的身體運動。那他們又是怎麼做到的呢？
2. 設計人體骨架模型
Ronald Mallet說：“你的大腦控制著肌肉，肌肉驅動著骨骼，骨骼反過來又驅動組織和皮膚以及表面的衣物，骨骼反過來又驅動組織和皮膚以及表面的衣物。所以為了用有限傳感器的數據來複刻所有這一切，並且渲染完整的3D虛擬化身，我們需要採用一個復刻人體解剖學的身體模型。這個模型需要完全自動地適配任何一個人，並且需要基於真實的人類行為。”
為了打造這個模型 他們首先研究了醫學刊物，並且利用了先進的醫學成像參考，然後再設計符合解剖結構，並且有著合理接合和自由度的人體骨架。
Ronald Mallet說：“這個模型比傳統動畫製作中的模型要複雜得多，你可以想想要做到專注於你的微妙姿勢。你的肩胛骨是如何運動，你的臀關節又是如何運動，或者你的關節是如何伸展。接下來我們匹配這個骨架和用戶身體結構，並且實時地將其製作成動畫，當用戶四周走動時模型能夠繼續適配用戶，並且忠實地復刻用戶的運動。”
3. 捕捉肌肉活動
但這並不夠，Oculus認為沒有肌肉表現可能會讓虛擬化身有點詭異，所以他們還復刻了肌肉活動的實時追蹤，並展示了對Oculus研究員Tony的一段演示視頻。
Oculus表示該演示只採用了 1 個傳感器
Ronald Mallet繼續解釋說：“令骨架表達出情感的是肌肉，肌肉運動對理解行為和意圖非常關鍵。所以這個片段是用於說明對Tony肌肉活動的實時追蹤。但要做到這一點，我們利用了他身體的慣性以及骨骼肌肉系統，來幫助我們預測和平滑化他的運動。要創建逼真的身體，建模肌肉收縮時出現的變形同樣重要。”
4. 捕捉服飾、毛髮
不僅僅是對人體的骨架的全身追蹤，Oculus表示對人體身上的服飾、毛髮的逼真還原同樣重要。
Ronald Mallet說：“我們採用了視覺觀察法來推斷身體幾何，並且重構其形狀。然後我們應用了基於物理的模型來重構實際的衣服變形，而且我們需要逼真地匹配人們的真實服飾。”
5. 未來挑戰
Ronald Mallet所展示的這一切都無需動捕套裝或標記，而且是實時進行的。只需有限的硬件進行捕捉，這是非常突破性的進步。但面對大眾消費市場，這個解決方案還存在延遲問題。
Ronald Mallet解釋說：“你可以想象，延遲是關鍵。在將其變成可行的產品之前，這是我們需要克服的一大挑戰。我們同時需要一種只利用現有傳感器，即可允許用戶輕鬆生成虛擬化身並實現動畫化的方法。”
延伸閱讀：Facebook F8大會主題演講完整視頻（含中英文字幕）
---
原文鏈接：https://yivian.com/news/60740.html
閱讀更多 映維網VR 的文章
