VR每日必看——在這裡，讀懂未來。
據國外VR專業媒體RoadtoVR報道：神經技術初創公司MindMaze正在研發一種簡單，低成本的面部追蹤技術MASK。MindMaze表示MASK兼容所有的VR頭顯，可以為你的虛擬化身帶來更加逼真的表情。
我日前拜訪了MindMaze位於舊金山的辦公室，並親身嘗試了他們的MASK技術。
由於頭顯阻擋了大部分臉部，基於計算機視覺的面部追蹤對VR更具挑戰性，所以MASK在頭顯泡沫填充物的外圍集成了低成本電極，並通過這種元件來感測面部肌肉運動時的電氣信號。
MindMaze執行總監泰傑·塔迪(Tej Tadi)表示，嵌入式傳感硬件的成本非常低，對頭顯整體制造成本的影響非常小。挑戰不在於硬件，而是負責解讀輸入的軟件。
透過頭顯泡沫直接與臉部接觸的電極只能測量電氣振幅。我嘗試的MASK的原型嵌入了八個電極，計算機唯一“看到”的是八個輸入數據流在數據圖上下移動。塔迪指出，MindMaze通過他們的神經技術知識創建出一個可以讀取數據的算法，並從中提取出一套面部表情。
神經忽悠 vs 貨真價實
但至少對MASK來說，它們絕對是貨真價實。當我戴上MASK的時候，即便沒有任何校準，系統仍能映射出我的表情。比如當我笑的時候，虛擬化身會跟著我笑;在我皺眉時，虛擬化身也會跟著皺眉;我眨眼，它也會眨眼。可以說，這是我看到過的最好的免校準技術。
MindMaze表示MASK原型目前支持10中不同的面部表情。因為它們是預先錄製的姿勢，這意味著MASK只能提供用戶表情的近似值：系統不能捕捉讓你之所以是你的獨特面部運動，但可以涵蓋最基本的事情。
除了當前的10個表情外，MindMaze說道他們正在努力從數據中抽出更多的表情，包括嘗試基本的眼動追蹤。這對注視點渲染等功能而言不夠精準，但足夠用於表情映射。
不完美，但極具前景
MASK並不完美。系統偶爾會出現錯誤的解讀，造成虛擬化身出現跟我不一樣的面部表情。至於普通的眨眼(不是使眼色)，MindMaze的原型似乎不能準確地表達出我的眨眼。然而，塔迪聲稱算法可以隨著時間的推移而變得更智能和更強大。
但到底能變得多強大是一個大問題。如果要讓用戶相信系統能夠精準地映射出他們的表情，MASK需要達到接近100%的精度。面部表情對非語言溝通極其重要。如果你正在與重要的客戶進行虛擬會面，你絕對不想他們認為你正在嘲笑他們(由於系統錯誤地解讀你的微笑示好)。即便不是重要的商業會談場景，VR中的面部追蹤仍然需要相當高的精度，從而不會出現尷尬的面部運動，並導致虛擬化身陷入恐怖谷理論。
將MASK的精度從90%提高到99%將會給這項技術的適用性帶來質的改變。
優勢
即便頭顯沒有構成重大挑戰，基於計算機視覺的面部追蹤可以變得更精確(捕捉面部運動更加微妙的變化)。但是，這種基於電極的方法具備基於計算機視覺的面部追蹤所沒有的優勢：預測。
塔迪聲稱，通過從臉部讀取的電子信號，MASK算法可以在“20到30毫秒”之前預測到你的表情。如果屬實，這項技術將具備十分大的優勢，讓虛擬化身表情同步成為可能。
除了對接面部的電極，MASK原型另外需要電極連接到耳垂，但開發者表示這可以集成至頭顯耳機。
電極/算法的面部追蹤方法的另一個優勢是它不需要太多的處理能力。塔迪表示由智能手機驅動的VR頭顯也能輕鬆應對這種任務。這與基於計算機視覺的追蹤方法相反，後者需要從每幀中導出你的面部表情，從而需要更多的處理能力。
寫在最後
雖然我認為面部追蹤最終將集成至VR頭顯中，但我不清楚這項技術在精度上需要達到什麼程度才能成為一項必須具備的功能。考慮到當前行業的發展狀況，降低頭顯成本是更大的優先選項，而不是增加更多的功能，所以現在對MASK而言或許不是一個最佳的時機。
《VR每日必看》致力於為用戶提供最新鮮最帶感的VR內容，“在這裡，讀懂未來”。
閱讀更多 VR每日必看 的文章
