虛擬現實VR、增強現實AR與混合現實MR技術解析及商業應用

關鍵詞:虛擬現實VR、增強現實AR、混合現實MR、智能眼鏡、圖像識別、語音識別、遠程協助、商品識別、體驗劇場、沉浸式視頻遊戲機、圖形處理

現在,勾勒一個英雄,並將該形象安置在您所處的空間中,這就是增強現實 (AR)。經過了數十年的發展,AR彷彿在一夜間風靡全球。精靈寶可夢GO(Pokemon Go)的熱潮讓這一日本流行的交換類兒童卡牌遊戲走上街頭,隨後數十個遊戲都將這種“魔法”技術與現實世界相結合。

Apple公司2017年推出了一套開發工具ARKit,開發人員能夠藉此創建移動AR內容,也鼓勵更多公司在iOS11平臺上構建AR體驗。這被視作AR崛起的另一標誌。

微軟的HoloLens和Magic Leap的Lightwear都能夠讓人們享受全息體驗,成為開創性頭戴式顯示器領域的兩大重要產品。

虛擬現實VR、增強現實AR與混合現實MR技術解析及商業應用

AR增強現實眼鏡

Magic Leap Lightwear

這不僅是娛樂和遊戲,同時也意味著巨大的商機。IDC 研究人員預測, 2021年全球AR和VR產品和服務的支出將從2017年的114億美元激增到2150億美元。

除了VR和AR,混合現實(MR)也在飛速發展之中。致力於MR研究的開發人員正將VR和AR的特點與現實世界相結合,以提供混合體驗。

設想另一種VR情景:您可以被瞬間傳送至夏威夷的沙灘椅上,腳踩沙粒,手捧雞尾酒。無需經歷漫長的經濟艙飛行體驗,而是直接被傳送到島嶼上。但現實中您並沒有真的在那裡。

在混合現實中,您就可以擁有這樣的體驗。比如在前往夏威夷的航班上體驗夏威夷沙灘的例子:您坐在前往夏威夷的航班上,當您移動時,航班座椅彷彿嘎吱作響的沙灘椅,真實的空乘員為您送上一杯雞尾酒,腳底輕觸地板上的沙粒,體驗沙灘般的感覺。

VR 技術解析

VR的概念可以追溯至20世紀30年代的文學作品中。在20世紀50年代,電影製作人 Morton Hellig提出了“體驗劇場” (“experience theater”),隨後發明了叫做SensoRama 的沉浸式視頻遊戲機,供人們觀看體驗。1968 年,開創性的時刻到來,Ivan Sutherland發明了第一個頭戴式顯示器。

虛擬現實VR、增強現實AR與混合現實MR技術解析及商業應用

體驗劇場experience theater

SensoRama沉浸式視頻遊戲機

自此,VR發生了巨大變化。消費級VR頭戴式顯示器實現了突破性的進展。光學、追蹤和GPU性能的技術突破也促進了VR的發展。

隨著Facebook的Oculus、HTC、三星、索尼和許多其他公司的新型頭戴式顯示器的用戶體驗得到改善,過去幾年消費者對VR的也興趣大大提高。然而,計算機生成的沉浸式 3D環境對人們來說不僅僅是擁有了時髦的VR眼鏡。

迄今為止,包括每秒提供足夠的幀數並減少延遲(即用戶移動頭部時造成的延遲),始終保持平穩、減少引發暈動症情況等難題已經基本攻克。

VR對圖形處理的要求極高——比電腦遊戲的要求還要高7倍。如果沒有快速呈現圖形的極速運轉的GPU,人們將不可能享有如今的VR體驗。

軟件也發揮了重要作用。例如,藉助NVIDIA VRWorks軟件開發套件, 頭戴式顯示器和應用程序的開發人員可實現VR的最佳性能和最低延遲,而且即插即用。VRWorks可集成於Unity和Unreal Engine 4等遊戲引擎中。

當然,VR尚有潛力未充分挖掘。如今,肉眼仍能發現VR渲染中的瑕疵。

虛擬現實VR、增強現實AR與混合現實MR技術解析及商業應用

VR渲染中的瑕疵

聚散調節衝突,《Journal of Vision》期刊

部分專家認為VR技術的發展將會超越人類認知水平,大約十年內,其性能將會實現飛躍性的進步,達到如今的200倍。同時,NVIDIA研究人員正致力於提升用戶體驗。

一項名為中心凹形渲染 (foveated rendering) 的技術降低了傳遞到敏感度較低的視網膜邊緣的圖像質量,同時提高了傳遞到視網膜中心的圖像質量。這一技術作用非凡,與眼動追蹤相結合,能讓處理器確定最清晰的觀看區域。

VR的技術障礙

每秒幀數:虛擬現實要求每秒高達90幀的處理速度。因為較低的幀速率會導致肉眼可見的移動滯後,可能會讓人產生嘔吐的感覺。NVIDIA GPU利用比肉眼可以感知的更快速度渲染來實現VR。

延遲:VR的延遲是指動作開始和電腦呈現的視覺圖像之間的時間差。專家認為 VR延遲率應達到20毫秒以下。NVIDIA VRWorks是VR頭戴式顯示器和遊戲開發人員的軟件開發套件,可以解決延遲問題。

視野:在VR中,創造身臨其境的感覺非常重要。視野是特定的VR頭戴式顯示器所能提供的視角。例如Oculus Rift頭戴式顯示器可以提供110度視角。

位置追蹤:為了營造身臨其境的良好VR體驗,需要在1毫米的誤差內追蹤頭戴式顯示器的空間位置。這是在任何時間和空間中顯示圖像的最低要求。

聚散調節衝突:這是如今VR頭戴式顯示器的觀看問題。具體如下:人的瞳孔以“聚散”的方式移動,也就是說當對焦時,瞳孔會一起向中心或是兩邊移動。但與此同時,眼睛裡的晶狀體也會聚焦於物體,又稱為調節。VR眼鏡所呈現的3D圖像會造成聚散和調節衝突,這對眼睛來說並不太正常,會導致視覺疲勞和不適。

眼動追蹤技術:迄今為止,頭戴式VR顯示器尚不能追蹤用戶的眼睛,讓計算系統可以針對用戶在某一時間內對焦的位置作出相應的反應。提高眼睛移動位置的分辨率有助於呈現更好的視覺畫面。

儘管幾十年來市場發展緩慢,但VR技術在好萊塢電影中大放光彩,例如前段時間上線的《頭號玩家》。同時,VR技術也在遊戲、電視、房地產、建築、汽車設計和其它行業深受人們的歡迎。

然而,分析師預測在未來幾年中,來自企業客戶的發展動力將超過消費者。

AR技術解析

AR的發展橫跨數十年,最早可以追溯到麻省理工學院媒體實驗室等大學和包括現任 Alphabet谷歌智能眼鏡技術負責人Thad Starner在內的先驅。在 AR 技術的萌芽階段,Thad Starner曾經身背沉重的電池腰包,用來連接 AR 眼鏡。

谷歌眼鏡後來被重新開發為一項不太引人注目的幕後技術,供倉庫和製造業使用。如今,工作人員可以通過谷歌眼鏡觀看培訓視頻和同事錄製的操作指南。

虛擬現實VR、增強現實AR與混合現實MR技術解析及商業應用

AR谷歌眼鏡

第二代谷歌眼鏡

AR技術也應用於低成本的攝像頭和屏幕技術,製造自動調光的低廉焊接頭盔,讓人們不會在熔化鋼鐵時灼傷視網膜。

如今,AR技術正進軍商業領域。在工業應用中,AR技術可以在解放雙手的同時提供有用的信息,其商業價值顯而易見。

AR眼鏡也大大提升了智能化水平。在運動微型顯示器的幫助下,佩戴AR眼鏡就彷彿擁有一個不可或缺的同事,可以在緊要關頭提供幫助。AR眼鏡甚至可以決定任務能否完成。

設想一名初級大型設備技工被派往建築工地緊急維修一輛大型拖拉機。老闆將一副AR眼鏡交給這個新手,眼鏡中的維修手冊讓他能一邊排除故障,一邊直接觀看圖解指導。

部分智能眼鏡甚至配有亞馬遜的Alexa服務,可以通過語音查詢瞭解相關信息,無需搜索智能手機或費神思考。

目前消費級的商業實例包括宜家的Place應用,人們可以利用智能手機,查看手機上顯示的家中圖像配上傢俱和其他產品的情景。

如今,索尼、愛普生、Vuzix、ODG ,以及Magic Leap等初創公司研發了各種各樣的智能眼鏡。

NVIDIA研究團隊一直努力提升AR和VR的用戶體驗。在NVIDIA GPU技術大會的 VR展廳,您可以體驗許多相關產品。

虛擬現實VR、增強現實AR與混合現實MR技術解析及商業應用

NVIDIA創始人兼首席執行官黃仁勳

NVIDIA創始人兼首席執行官黃仁勳在GTC上談VR

MR技術解析

MR擁有巨大的商業潛力。在虛擬體驗中,MR可以創造無限變化,比如通知忙碌中的人實現協作並解決現實問題。

比如這樣一個情境,設想有一名初級大型設備技工身陷一輛大型拖拉機內,完全被機械故障難住了。其餘人員閒坐一旁,無法工作。工地經理焦慮不安。

幸運的是,這個技工的智能眼鏡可以提供虛擬幫助,他可以用VR聯繫一名資深技工,一邊在真正的拖拉機上維修,一邊在一模一樣的拖拉機模型上排除故障,並且通過AR獲取線上維修手冊文件,找出轉矩規格和其他維修詳情。

——這就是混合現實。

對於消費者來說,設想您正在使用宜家的Place應用擺放和觀察房屋中的傢俱。您想要購買一張亮紅色的沙發,但在購買之前,您想先了解一下您的朋友和家人對於在客廳裡擺放這個沙發的看法。

於是您使用了

智能眼鏡中的VR功能。假設您在使用宜家Place應用程序的VR模式,您可以邀請幾名關係密切的親友(但首先他們必須坐在自己能找到的沙發上)。現在,每個人都坐在了您家的虛擬環境中,沙發變成了宜家的紅色沙發。

藉助混合現實實現的虛擬展廳讓您得出了一個結論:您的朋友和家人都非常喜歡這個沙發,所以您買下了它。

在商業領域,MR還有無限的可能性。

目前,混合現實技術尚處於起步階段,這可能成為眾多VR和AR開發人員的夢想。這是因為混合現實可以將此時此刻的真實情況與虛擬現實融為一體,增強許多娛樂和商業情景的現實感。

舉個例子:汽車設計人員能坐在真正的車椅上,身旁配有扶手、換擋器和方向盤,他可以通過VR功能查看儀表盤和內飾。許多人都可以通過這種方式,遠程評估設計。而NVIDIA Holodeck就可以實現這類協作。

以上就是本人對虛擬現實VR增強現實AR

混合現實MR,以及智能眼鏡等技術的理解,同時還包含谷歌、微軟、亞馬遜、NVIDIA英偉達等企業在AR、VR、MR領域的發展,希望通過此文章,可以讓大家對VR、AR、MR有更深的瞭解。

AI人工智能領域,歡迎大家關注___http://www.aideeptech.com

歡迎交流:18801218481 AI.王先生


分享到:


相關文章: