從2016年開始，各大國際科技巨頭與眾多硬件廠商與互聯網巨頭、創業者相繼入局VR/AR眼鏡領域，紛紛推出各具特色的產品。本文將陸續對代表性機構所採用的人機交互、信息處理軟硬件系統、光學成像技術進行分析。
1. HTC Vive Lighthouse定位技術
HTC Vive的Lighthouse定位技術就是靠激光和光敏傳感器來確定運動物體的位置，通過在空間對角線上安裝兩個高大概2米的“燈塔”，燈塔每秒能發出6次激光束，內有兩個掃描模塊，分別在水平和垂直方向輪流對空間發射激光掃描定位空間。
HTC Vive的眼鏡和兩個手柄上安裝有多達70個的光敏傳感器，其通過計算接收激光的時間來得到傳感器位置相對於激光發射器的準確位置，利用眼鏡和手柄上不同位置的多個光敏傳感器從而得出眼鏡/手柄的位置及方向。這裡需要說明一下，HTC Vive在定位過程中光敏傳感器的ID會隨著它接收到的數據同時傳給計算單元的，也就是說計算單元是可以直接區分不同的光敏傳感器，從而根據每個光敏傳感器所固定在眼鏡和手柄上的位置以及其他信息一起最終構建眼鏡及手柄的三維模型。
Lighthouse定位技術的優勢在於成本相對較低，定位精度高，不會因為遮擋而無法定位，寬容度高，也避免了複雜的程序運算，所以反應速度極快，幾乎無延遲，同時可支持多個目標定位，可移動範圍廣。不足的是，其利用機械方式來控制激光掃描，穩定性和耐用性較差，比如在使用HTC Vive時，如果燈塔抖動嚴重，可能會導致無法定位，隨著使用時間的加長，機械結構磨損，也會導致定位失靈等故障。
2. Oculus Rift主動式紅外光學定位技術+九軸定位系統
Oculus Rift通過在空間內安裝兩臺紅外攝像頭，從而對整個空間進行覆蓋拍攝，其眼鏡和手柄上放置可以發出紅外光的“紅外燈”，攝像頭捕捉到這些“紅外燈”發出的紅外光後，再通過後續程序計算後便能得到眼鏡/手柄的空間座標。需要注意的是，這兩臺攝像機加裝了紅外光濾波片，所以攝像機能捕捉到的僅有眼鏡/手柄上發出的紅外光。這裡需要說明的是，如果想要知道不同的紅外燈在設備上的位置信息，就必須能夠區分不同的紅外燈。Oculus Rift是通過紅外燈的閃爍速率來告訴攝像頭自己的ID。通過控制攝像頭快門頻率與每一個LED閃爍速率，可以控制圖片上每個紅外燈所成圖像的大小規律，然後利用連續10幀的圖像中每一個點在10幀圖像中的大小變化規律來確定LED燈球所對應的ID號，再根據該ID號就可以知道該紅外燈在設備上的位置信息。
另外，Oculus Rift上還內置了九軸傳感器，其作用是當紅外光學定位發生遮擋或者模糊時，能利用九軸傳感器來計算設備的空間位置信息，從而獲得更高精度的定位。由於九軸會存在明顯的零偏和漂移，那在紅外光學定位系統可以正常工作時又可以利用其所獲得的定位信息校準九軸所獲得的信息，使得紅外光學定位與九軸相互彌補。
由於其所用的攝像機具備很高的拍攝速率，並且由於該類系統總是能夠得到標記點在當前空間的絕對位置座標，所以不存在累積誤差。但是由於攝像頭視角有限，因此該產品的可用範圍有限，會在很大程度上限制使用者的適用範圍，因而無法使用Oculus Rift來玩需要走動等大範圍活動的虛擬現實遊戲。也因此，雖然Oculus Rift可以支持多個目標物同時定位，但是目標物不可過多，一般不超過兩個。
3. PS VR的定位技術
PS VR設備採用體感攝像頭和類似之前PS Move的彩色發光物體追蹤，去定位人頭部和控制器的位置。眼鏡和手柄上會放LED燈球，每個手柄、眼鏡上各裝配一個。這些LED光球可以自行發光，且不同光球所發的光顏色不同，這樣在攝像頭拍攝時，光球與背景環境、各個光球之間都可以很好的區分。PS Move原本採用單個攝像頭，通過計算光球在圖片中的半徑來推算光球相對於攝像頭的位置，並最終確定手柄和眼鏡的位置。但是，單個攝像頭定位的精度不高，魯棒性不強，有時會把環境中的彩色物體識別成手柄，有時陽光比較強烈的時候還會不起作用。因此PS VR採用了體感攝像頭，即雙目攝像頭，利用兩個攝像頭拍攝到的圖片計算光球的空間三維座標。
PS VR可以支持多個目標同時定位，並以不同的顏色來區分。但是由於PSVR的抗遮擋性較差，一旦多個人使用互相發生遮擋，則定位馬上收到影響。而且由於雙目攝像頭的有效範圍有限，所以PS VR的移動是受限的，只能在攝像頭可用範圍內活動，基本上只能在主機前使用。雖然，PS VR目前採用了雙目攝像頭，但是由於依然採用可見光定位，所以很容易受到背景顏色的影響。此外，根據用戶體驗結果反映，在較快動作的情況下會出現攝像頭的捕捉跟不上的問題。
4. Leap Motion手勢識別技術
Leap Motion運用了兩個運行速度達120幀/秒的超廣角相機傳感器，它採用的是一次性採集全部像素而非傳統傳感器獨立處理每一個像素的方式。Leap Motion 控制範圍大約 2.43 米，其精度達0.01mm，能夠認出的幾乎所有常見的手勢：手掌張合、手指的點、劃等等。Leap Motion可識別的範圍遠遠超出它本身的體積，其高達150°的超廣視角使得用戶可以在一個倒立四稜錐體狀（25mm—600mm）範圍內做出任何手勢。Leap Motion的第二代Orion對算法做了升級，使得超出識別區域的部分也可以當作一個整體進行追蹤，對於手部的快速、大幅的動作也可以做到快速識別，最後再在空間座標化建立模型。
Leap Motion的體積僅有普通優盤大小，連接方式為常規的USB口連接，支持多操作系統，可以面向C++、C#、Java Script、Java等進行新的程序開發，本身也可以作為Unity 3D等軟件的插件使用。
Leap Motion 在跟蹤識別手部動作時，在算法上主要採用的是To-Be-Determined技術（以下簡稱TBD）。利用該技術可以追蹤並計算出手掌、指尖或者筆尖等對象在基於Leap Motion座標系下的座標。典型的TBD技術算法包括動態規劃、時空域匹配濾波器、遞推貝葉斯濾波等算法。該技術的主要優勢在於能夠精確跟蹤目標，這樣的優點也同樣帶來了缺點，為了追求精度的大量採樣對於內存造成了一定壓力，無形中提高了計算量，降低了處理速度，特別是 Leap Motion 還採用了高幀率的雙攝像頭。
5. Nuance語音識別技術
目前，雖然在語音識別領域國內廠商（如科大訊飛）已躋身世界領先地位，但是在仍有必要介紹一下Nuance公司的語音識別技術。Nuance的語音技術是以統計推斷方法為基礎，著眼於音素（音節的聲音）和語境來識別話語。在識別方面，Nuance的算法和專利均領先其他競爭對手。世界上有超過80%的語音識別設備都用過Nuance識別引擎技術，其語音產品可以支持超過50種語言。
2014 年，Vuzix 已經正式宣佈與Nuance 語音技術公司合作，為旗下的 M100智能眼鏡的 2.0 版本操作系統加入語音識別技術。Vuzix 公司表示，本次的語音識別升級同時也包含降噪技術，這些是嵌入到 M100 眼鏡產品中的，無需數據連接就能使用。這項功能將會允許用戶通過說出“向左滑動、選擇應用”或者“導航”一類的語音進行簡單的菜單和系統操作。
6. SMI眼球追蹤技術
SMI是一家德國科技公司（2017年6月被蘋果公司收購），其眼球追蹤技術已經被應用在三星Gear VR上。這家公司還曾經為Oculus DK2和HTC Vive開發眼球追蹤套件。SIM眼球追蹤技術的使用，不僅可以實現注視點渲染，還能夠減少VR對GPU的消耗，因為它極大地減少了GPU的VR畫面渲染量，使性能較弱的移動GPU也能提供高分辨率的VR圖像，或是減少PC VR設備的數據傳輸量，實現無線VR連接。
此外，值得注意的是，SMI眼球追蹤技術解決了VR常見的短板，它能夠以120Hz的採樣率實時記錄用戶的自然凝視行為，可以分析佩戴者的目光，並幫助減少眩暈。在製造 3D 效果方面，Oculus Rift 本身存在一些問題。當兩個顯示屏的圖像完美配合時，用戶才會獲得良好的體驗，輕微的錯位就會導致眩暈感。為此，VR眼鏡需要了解用戶雙眼間距。Oculus Rift 的默認設置是 64 毫米。問題是，這只是照顧了大多數人的需求。許多人的雙眼距離並不是這樣的，也就無法獲得完美體驗。通過調整鏡頭或者改進軟件，Oculus Rift 或許能夠適應不同的需求，但是這並不容易。另外，當你花費時間調整 Oculus Rift 之後，會發現其他人無法使用同樣的設置。SMI的眼球跟蹤技術可以解決這個問題。
還有SMI ETG眼鏡式眼動跟蹤系統，該設備是基於眼動跟蹤的非侵入式視頻，採用自動偏差補償的雙眼追蹤，瞳孔-角膜反射等方法，並且能夠實現採樣率60Hz/30Hz雙眼，達到追蹤距離40cm以上，凝視定位精度為0.5度，能夠實現追蹤範圍為水平80度，垂直方向60度。使用SMI ETGTM時，就像佩戴一副普通的眼鏡，戴上即用。校準過程在數秒內完成。而且眼動追蹤眼鏡可以與普通框鏡和隱形眼鏡相匹配。
SMI Eye Tracking Glasses(ETG)規格參數
2014年，SMI曾為Oculus Rift DK2發佈了SMI開發者套件，為Oculus內容開發者提供了眼球追蹤技術接口。2016年，SMI與Lumus合作推出了一款帶有眼球追蹤技術的Lumus DK-50 AR眼鏡。用戶能看到AR顯示屏幕上的3D圖像，並且可以與之互動。
7. 微軟的眼球追蹤技術
目前微軟的HoloLens並不具備眼球追蹤功能，而是依靠檢測頭部的位置來判斷用戶在看什麼。不過，早在2016年，微軟就申請了一項專利，該專利描述了一項有關“用於確定眼睛視線直徑方向的電容式傳感器”的技術。這將使頭戴設備對眼球視線跟蹤，更簡單、更便宜以及更美觀。
在專利描述文件中，提到該技術是在眼鏡的鏡片上，裝配透明電容傳感器陣列。其可以是通過眼鏡框架，接到頭部的非常細的絲網或導電聚合物。它能夠檢測到眼睛角膜的位置和距離，並以此作為用戶視線方向的參照物。這項技術還具有反應快、低延遲的優點，允許傳感器追蹤非常快速的眼球運動。如果這項技術能夠出現在HoloLens迭代產品上，那麼，毫無疑問，下一代HoloLens就能夠帶來非常精準的視覺體驗和靈敏的操作控制。
微軟的眼球追蹤技術專利附圖
8. Eyefluence眼動跟蹤技術
Eyefluence是一家美國科技初創公司，在2017年8月份宣佈將會在未來VR中應用眼球追蹤技術後，於10月份被谷歌收購。
根據公司創始人Margraff表示，Eyefluence將眼球掃描儀和眼球追蹤硬件相結合以實現“眼球控制”。不同於其他眼控技術，Eyefluence的操作速度更快。在使用Eyefluence進行“打地鼠”遊戲的測試過程中發現：Eyefluence的反應速度比傳統操控方式還要快了25%左右。
除了快，Eyefluence還能夠對眼球的動作進行深層次的挖掘。Eyefluence技術可以通過用戶瞳孔的縮放程度來確定用戶的視線。這一技術有望幫助測量用戶的觀看體驗，為相應行業提供更有參考價值的信息。比如在時裝走秀中，通過確定用戶視線，可以知道哪些時裝更能夠吸引用戶的眼球，生產商在生產相應服裝時就可以確定哪些服裝可以多生產，哪些服裝需要少生產。
2017年有消息稱，Magic Leap將使用Eyefluence眼球追蹤技術。
9. The Eye Tribe眼球追蹤技術
The Eye Tribe是一家丹麥初創公司（2016年被Oculus收購），公司業務主要是為不同平臺搭建眼球追蹤軟件及相關應用。目前，The Eye Tribe已經開發了一套售價為99美元的眼球追蹤軟件開發工具包，適用於智能手機及VR眼鏡。
此外，The Eye Tribe還研發了一種名為視網膜凹狀渲染（Foveated Rendering）的技術，可通過追蹤眼球位置來確定用戶注視區域。這使得計算機能夠對眼球焦點區域進行優化，並減少焦點區以外畫面的細膩度，從而大大降低了計算機的運算量。
10. FOVE眼動追蹤技術
早在2014年末，FOVE就宣佈將會發布一款使用眼球追蹤技術的頭戴顯示設備。據瞭解，FOVE採用的是非干擾性紅外眼球追蹤技術， FOVE在眼鏡鏡片下方，嵌入了兩個紅外攝像頭，可以通過反射的光線，計算眼睛傾斜的角度，從而追用戶瞳孔活動，並且還能夠進行視線校準。用戶的視點被追蹤後，GPU圖像處理器能夠對其專門進行渲染，在虛擬現實中實現景深效果。用戶可以用眼睛進行顯示器的控制，與虛擬現實中的人或者物體進行“眼神交流”，以及可以用眼睛來控制鍵盤等。FOVE的這項技術名為Variable Acuity Resolution，能夠模擬人眼在真實世界中如何識別物體的過程。
FOVE眼鏡最突出的是其眼動追蹤功能。跟Oculus、Vive和PS VR一樣，該眼鏡的設置從校準開始，但校準並非是用戶身體相對於電腦的位置，而是你的眼球運動。它的眼睛追蹤的精準度微調到第1/20度，這一點幾乎消除了用戶眼睛運動追蹤過程中的延遲，使虛擬現實互動儘可能地流暢和真實，以此來使用戶受益。頭部追蹤極低的延遲性是FOVE頭戴設備的一個關鍵的方面，幫助用戶獲得真實的方向感。FOVE同時還使盡可能廣闊地觀察虛擬現實內容成為了可能，它在一個5.8英寸的高分辨率的大屏上展示100度視野。
閱讀更多 樑育珩 的文章
