“對於接下來要實現完整虛擬化身的任務，我們現在感到無比興奮。”
（映維網 2019年04月04日）Oculus已經正式推出了全新的Expressive Avatars和Avatar Editor，希望可以進一步為用戶帶來更具表現力的VR社交體驗。這家公司的目標是是：支持VR中人與人的有意義交互，無論彼此身在何方。
延伸閱讀：
自2016年推出Oculus Platform以來，Oculus就致力於通過Oculus Touch等硬件優化和Rift Core 2.0等平臺更新來強化虛擬現實中的社交臨場感。對於這一次的Oculus Avatars系統升級，Facebook日前撰文描述了社交臨場感的藝術與科學。以下是映維網的具體整理：
我們在過去數十年間見證了一次又一次的計算進步，但虛擬世界的沉浸感水平沒有太大變化，仍主要停留於二維顯示屏，並以鼠標或控制器作為輸入。
作為對比，虛擬現實硬件正越來越能夠將人體運動直接轉換為計算體驗，並通過頭顯來閉合動作感知反饋循環的方式具現體驗。當你只需環顧四周即可調整對周遭世界的感知時，體驗的沉浸感將能進一步加強，彷彿這就是真實。再利用精確追蹤的運動控制器，你可以看到在虛擬世界中感知自己的雙手並與其中的對象進行交互。這時，臨場感就將越發凸顯，亦即身臨其境的感覺。
對於VR體驗，如果可以利用虛擬化身實現實時的言語社交和非言語社交，你將越來越接近真正的社交臨場感，彷彿對方真的就在身邊一樣。
只需非常小的輸入，你都能感覺自己能夠與對方建立聯結。藉助頭顯和雙手控制器的位置追蹤，相隔一方的用戶可以在共享式虛擬環境中協作，並且感覺大家都是置身於同一個房間之中。我們非常容易接受彼此的行為線索，如肢體語言。我們可以推斷出某人是否正在全神貫注傾聽自己的講話，而通過最微妙的頭部動作，我們能夠體驗仿如現實世界般的社交規範。
隨著虛擬化身的渲染正變得越來越細緻入微（增加了眼睛和嘴巴，以及身體模擬），現在的挑戰已經變成再現行為線索的細微差別。要通過今天的VR硬件實現所述目標，這意味著無需任何額外面部攝像頭或身體追蹤即可實現高度的社交臨場感，所以我們必須將高質量的頭部和雙手動作追蹤與行為和表達模擬相結合。如果能夠做好，你的社交臨場感就會提升。當虛擬化身的感知質量與真實意圖出現脫節時，你會感到非常不和諧或不舒適。
於2016年組建的Oculus Avatars項目旨在解決實現VR臨場感的一系列挑戰，並把相關的技術帶給希望構建VR社交體驗的開發者。
1. Oculus Avatars的開始
Oculus Avatars項目從Toybox發展而來，後者於2015年開發，是Oculus構建的首批體驗之一。除了演示了VR頭顯的位置追蹤之外，Toybox同時展示了雙手追蹤的價值，可以支持用戶抓取對象，而且更重要的是，能夠允許你在VR中通過手勢進行交流。
在開發Toybox的過程中，我們意識到一個簡單的人類表現形式（代表頭部和手部的方框）都足以呈現人體語言的眾多細微差別。事實上，一位測試者表示自己只需三個簡單的形狀就能夠識別配偶。她說道：“他就是這樣聳肩的。”
當我們迭代這個演示內容時，我們選擇了一個簡化的頭部和手部，並發現即便是最簡單的信息（如鼻樑方向）都可以有力地吸引他或她的注意力，並增強共享VR中的通信體驗。
我們同時很快意識到，如果沒有復刻我們所熟悉的人類情感的細微差別，你所創建的一切都會感覺非常彆扭，並且減損虛擬現實世界的沉浸感。能夠看到雙手精確匹配運動顯然非常具有沉浸感，但如果手肘的模擬不正確，你的大腦就會馬上高呼：“我的手肘可不是這樣擺的。”
我們正在努力實現本體感（身體各部分相互之間的內在感覺），並且明白到在沒有攝像頭或控制器追蹤的情況下實現精確模擬的重要性。
我們同時看到為用戶提供逼真的類人表達存在巨大的價值。在虛擬現實裡面，你可以成為任何人，而這是一種強有力的個人表達形式。我們希望創建的系統可以允許用戶自定義虛擬化身的外觀，並在可用於無數的社交VR體驗。另外，這樣做有助於為開發者提供快速將個性化虛擬化身帶到社交體驗中的工具和內容。
2. Oculus Avatars的演變
經過數十年的發展，電子遊戲已經擁有了逼真的，可定製人類。所以這個任務應該很簡單，對吧？
事實並非如此。當你在傳統的多人遊戲中看到另一個玩家時，你通常不會期望這個角色會完全以人類的方式移動，因為你知道它是由一個坐在沙發，並拿著遊戲手柄的玩家進行控制。
在虛擬現實中，當你看到一個以非常類人方式移動的逼真虛擬化身時，大腦就會開始分析它，而你會意識到哪裡不對勁。你幾乎可以認為這是一種進化的防禦機制。我們應該警惕移動方式類似於人類但行為表現又與我們不同的事物。
我們發現，人體皮膚非常難以“偽造”。當我們說話時，皮膚會拉伸至顴骨，並且出現微妙的顏色變化。要以令人信服的方式再現所有這一切非常有挑戰性，特別是VR體驗已經對計算性能提出了嚴格的要求。
正確的眼睛和嘴巴運動同樣重要。在說話時，眨眼和下顎運動並不足夠，還需要眉毛，臉頰和嘴唇等其他社交線索。它們都屬於非語言行為，而且如果沒有面部追蹤攝像頭，你很難進行模擬。
正是因為這樣的挑戰，我們Facebook Reality Labs的團隊發明了全新的技術，並致力於在未來十年內實現更逼真的虛擬化身。
但在缺乏成熟技術的情況下，我們在一開始採取了抽象化的方法。降低虛擬化身的類人性，並且打破用戶對現實主義的期望。Facebook Spaces的一名同事嘗試用卡通風格來實現完全清晰的眼睛，嘴巴和手臂模擬，從而避免恐怖谷效應，或加劇模擬和追蹤行為的不連續性。
與此同時，我們發現更強逼真感的價值。如果以更加類人化的比例和形式呈現虛擬化身，用戶會自然而言地理解某人所佔據的空間。鼻樑的獨特形狀可以表明注意力所在，並促進對話互動。現實主義開啟了在情景中應用虛擬化身的用例，如VR商務會議，而卡通化形象並不適合這類情形。
對於2016年推出的Oculus Avatars，我們開始利用體三維式的和雕塑精確的人體形象，通過單色紋理抽象化感覺像是皮膚的一切。我們對無法逼真模擬的區域進行褪色處理或完全覆蓋。所這一切都是為了弱化它們，並將注意力集中在可以通過硬件追蹤的頭部和手部運動。
進入2017年，我們在研究如何優化虛擬化身時開展了長時間的用戶研究和設計實驗。許多人喜歡科幻風格的虛擬化身，但更多的人渴望自由選擇膚色和頭髮顏色，從而在VR中表達更加個性化的自己。
大多數人更加希望看到的是，眼睛和嘴巴的精確模擬運動，從而令VR中的交流變得更加真實和有意義。我們通過非常簡單的嘴唇動畫取得了一定的成果，但在一個接一個的實驗中，將眼睛添加至單色的虛擬化身始終非常奇怪。
為了提供更豐富的社交形象，我們需要拓展視覺風格。
這意味著團隊需要解決一些非常艱鉅的挑戰。我們需要在沒有攝像頭的情況下模擬眼睛和嘴巴的運動，並且要以過於關於逼真感形態的經驗教訓作為基礎，同時視覺處理又要兼容開發者通過Oculus Avatars SDK構建的各種體驗。
我們還必須發明新的方法來衡量任何變動對系統造成的影響。我們與倫敦的用戶研究團隊合作，創建了一個可擴展的框架，並用來評估自我臨在和社交臨場感的多個維度的虛擬化身風格和行為。這允許我們更能把握我們是否在朝正確的方向前進。
當我們為最終的改動進行準備時，我們很快就發現，過度索引過度行為現實主義或視覺現實主義很快就會導致不舒適，甚至是恐怖谷效應的人際交往體驗。一個缺乏超逼真面部表情的超逼真虛擬化身感覺非常不和諧。這是關於平衡藝術和科學的一個例子。
3. 虛擬化身背後的科學
我們首先從科學開始。我們很早就明白，如果沒有面部追蹤技術，我們重新創建眼神交流和麵部表情的能力將代表著我們可以達到的可信度上限。理解這一上限有助於我們判斷需要通過虛擬化身的外觀來傳達什麼樣的現實主義。
我們通過將臉部分成幾個不同的組成部分（言語，凝視，眨眼），然後再加之以我們對面部和肢體語言的更全面理解，從而確保一致的表現。
幸運的是，我們不是第一批嘗試探索人類表達原理的團隊。
4. 眼睛：通往靈魂的窗戶
業界已經存在大量關於眼睛運動的學術研究，涵蓋眼睛在注視移動對象或將注意力從一個對象轉移至另一個對象時的行為。不自主眨眼動作實際上是一種保護性動作，它能使淚水均勻地分佈在角膜和結膜上，以保持角膜和結膜的溼潤，眨眼動作同時可以令視網膜和眼肌得到暫時休息。如果你環顧四周，眼球將更多地暴露在空氣中，所以你眨眼的可能性更大。科學家同時注意到，當說完一個句子時，你會更頻繁地眨眼。
我們能夠為VR編寫這等行為模型，然後再調整它們，因為我們意識到對於佩戴頭顯，這實際上會令虛擬社交環境中的用有著不同的行為表現。
凝視建模是一個例子：人類通常會在舒適的眼球運動範圍內感知周遭環境，你在轉頭之前傾向於將眼睛向左或向右移動約30度頭。如果是用眼角進行斜視，只需數秒鐘就會感到非常不舒服。
但在佩戴VR頭顯時，我們觀察到這個範圍減少到大約10度。隨著視場的減少和視覺清晰度的降低，用戶會更多地轉頭。
這使得我們稍微更容易根據頭部方向來預測用戶的凝視方向，以及用戶的視線是落於何物或何人身上，從而令我們更有信心模擬逼真的眼睛行為。
5. 會說話的頭
為了表徵嘴巴行為，我們同樣閱讀了數十年來的研究和大量的數據，因為不同的嘴巴行為可以形成不同的聲音。利用我們最新的Oculus Lipsync功能，我們能夠通過語音來派生視素：塑形你的嘴巴，從而形成言語。
但是，你的嘴巴會以非常複雜的方式運動。製作一組嘴巴形狀的動畫儘管可以非常準確，但感覺人工痕跡相當明顯。所以我們不得不思索，如何以一種令人感覺舒適的方式來塑造面部肌肉收縮和放鬆的模型。我們同時邀請了語言學和麵部標記方面的專家來幫助我們。
在這種情況下，重點是事件順序。當聲音通過嘴唇之前和之後，你都會移動它們以形成單詞。在聲音離開嘴巴，進入麥克風並解碼為視素之前，我們應該如何模擬幕後發生的事情呢？
一種選擇是，因為社交VR關乎相隔一方的用戶進行通信，所以我們可以利用這一點，並且延遲音頻，從而使得我們能夠製作視素動畫。但這樣做會加劇視頻會議或長途電話時常見的挫折感，並導致更糟糕的社交體驗。
我們顯然希望不惜一切代價避免這種情況。所以我們開始思考，當把多個聲音鏈接在一起時，嘴巴的運動方式又會如何。我們發現，通過控制單個口部肌肉移動的速度，我們可以逼真地將每個聲音和運動之間的中間嘴形建模為下一個聲音。我們將這種技術稱為“差異插值”（設定每個肌肉在兩個不同位置之間移動的距離極限），而這產生了感覺更少重複，更連貫，並且更可讀的嘴巴運動。
6. 表達你自己
最後，由於明確理解了應該如何渲染嘴巴和眼睛的行為，我們開始研究如何更好地描述對應語音的運動。我們發現，單憑眼睛和嘴巴的動作，虛擬化身感覺非常生硬，尤其是在不說話的時候。
無論是眼眶和臉頰周圍的輕微收緊，嘴巴和眉毛的週期性抽搐，或者甚至只是行動方式的微妙不對稱，我們的臉部總是在不斷運動。這種微表情是逼真面部的基礎層。由於它們中的大多數似乎是隨機發生，所以我們能夠將這些元素添加到臉部模型，並令其感覺更加動態和生動。
我們越是分析人類交互的信號，我們就越能意識到我們可以用於建模或訓練數據的常見模式。我們可以追蹤語調的突然變化和頭部運動的劇烈抽動，但伴隨的眼睛睜大和眉毛抬起是當今硬件所無法推斷的事情。儘管我們只是觸及了這些行為的表面及其觸發因素，但我們已經明確了接下來的工作。在接下來的數個月時間裡，我們可以通過新功能來更新系統，例如瞳孔擴大和收縮，或者實現彼此之間能夠進行眼神交流的虛擬化身。
不過，我們採取了更加剋制的方法來表達情緒狀態。因為我們意識到，如果缺乏相應的情景數據，我們需要非常謹慎地預測和模擬用戶的情緒狀態。所以，我們同時探討了支持用戶觸發虛擬化身的面部情緒，並且發現如果你要求用戶按下“憤怒”按鈕才能表達憤怒情緒，這可能會破壞自然的對話（更糟糕的是，用戶可能會無意識地按下這個按鈕）。
7. 虛擬化身的美術發展
隨著我們開始規劃更具表現力的虛擬化身，我們不得不考慮如何根據更多的行為現實主義來提升美術風格。
我們從2017年開始這項工作，並在2017年10月舉行的OC4大會發布了新版虛擬化身的風格，同時通過視頻演示展示了早期樣式。
隨著我們不斷加深對行為模擬的理解，我們同時也在尋找能夠在模型雕塑和渲染中實現可信度的方法。
我們做的第一件事就是觀察電影和遊戲角色，並建立一個從卡通到抽象，再到高度逼真的頻譜。通過實驗，我們發現隨著虛擬化身在雕塑保真度方面變得越來越逼真，紋理越來越成為恐怖谷效應出現的一個顯著因素。相比之下，對於更抽象或更誇張的面部形狀，紋理的重要性越發降低，因為的恐怖谷效應已經在不同的頻譜中大大減少。我們可以通過紋理和陰影來令逼真的面部看起來不那麼真實。
考慮到迄今為止的經驗，我們認為可以利用雕塑方面更為精確的形式，但同時用紋理和陰影來防止它過於逼真，從而令我們有信心匹配我們可以模擬的行為保真度。我們的目標是，創建足夠類人的虛擬化身，允許你理解和感知相關的生理特徵和麵部行為，但又不是過於類人，不會令你糾結於皮膚應該起皺和放鬆的方式（因為非常難以模擬）。
計算成本同樣是一個重要的考量因素。對於Oculus Go和Quest，我們需要為移動芯片帶來富有表現力的虛擬化身。我們已經能夠將250個虛擬化身塞進Oculus Venues之中，所以對於每一個添加至面部的頂點我們都是非常小心。
法線貼圖已經能夠極大地幫助將高質量的PC網格移植到移動設備。但隨著嘴部運動的增加，我們不得不完全重塑虛擬化身的面部，並在可拉伸和摺痕的區域優化保真度，如嘴部，眼臉和眉毛周圍，並且降低對靜止區域的關注，如牙齒，眼球和耳朵等等。
最後，我們花費了數週時間來迭代紋理和著色器，確保在原來虛擬化身中打磨的眾多質量在過渡至新風格時不會丟失，比如用於增強面部可讀性的微妙邊緣照明。
我們在2018年舉行的OC5大會演示了最終的結果，而且現在已經向所有的Oculus用戶開放。
8. Oculus Avatars的下一步？
以上是我們迄今為止所走過的路程。對於接下來的計劃，我們有興趣鑽研完整的全副身體。
我們已經看到用戶為自己的虛擬化身投注了大量心血，選擇了一系列不同的休閒或幻想裝飾。一個完整的具身形象將支持人們創意地表達自己，並且允許我們實現越來越豐富，越來越完整的社交臨場感。
但要做到這一點，我們需要解決一系列的難題，例如：
- 如何解釋在用戶就座但虛擬化身站立時的運動
- 如何平衡精確追蹤的頭部和手部運動，以及臀部和膝蓋的模擬運動。我們不僅要做到正確和自然，而且要足夠靈活，因為情景可以從坐在沙發到靠在桌球桌，再到彎腰拾起箱子。
- 如何校準某人的實際體積及其期望的體積，從而確保虛擬化身能夠以協調的方式與對象交互，並且設計一個可容納不同體形的衣櫃。
- 如何在無需複雜模擬的情況下匹配服飾裝飾和麵部逼真度。
- …
早在2016年，我們就決定要避免自己不確定的事情，只展示我們確信的事情。自那以後，我們不僅瞭解到我們的硬件可以幫助我們更有信心地模擬逼真的行為，而且還發現機器學習，以及易於理解的先驗技術可以把細微信號轉化為出色的社交臨場感。
對於接下來要實現完整虛擬化身的任務，我們現在感到無比興奮。
---
原文鏈接：https://yivian.com/news/59160.html
閱讀更多 映維網VR 的文章
