Leap Motion劇透:正研究用於AR

對於新的計算技術來說,要實現它們的全部潛力,通常需要設計新的用戶界面。在虛擬空間中,最基本的交互是基於直接的物理操作,如用手捏和抓,這是最普遍的操作。

隨著我們從休閒類VR應用轉向更深入的領域,設計優先級自然轉向生產力和人體工程學,而交互設計最重要的領域之一就是模式切換和快捷方式。

Barrett Fox和Martin Schubert是來自Leap Motion的兩位VR互動以及設計工程師,他們兩位向外媒劇透了Leap Motion正在進行的一項工作:研究適用於AR/VR的單手操控方案,下面我們一起來了解一下。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

我們現在經常使用鍵盤快捷鍵,Ctrl+Z、Ctrl+C和Ctrl+V是效率的基礎,以至於很難想象沒有它們的電腦會是什麼樣子,大多數人已經把這些都練成了肌肉記憶。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

在VR中,通過對控制器按鈕、觸摸板的重新映射,我們也可以相對容易的使用這種快捷方式。但當我們想要單手操作時又當如何呢?這時我們無法再依靠按鈕或其他機械輸入方式,所以需要換一種不同的思考方式。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

在之前的工作中,我們已將這些類型的命令映射到用戶界面,其中一隻手充當選項的集合,而另一個則充當選擇器。如果可以用一隻手來切換或修改當前活動的工具,那麼操作的速度和舒適度都能得到提升。我們甚至可以設計一個有實體的和空間的快捷系統,不需要一直看著我們的手,使我們的目光更加自由,進一步提高生產力。

直接操作與抽象手勢

單手激活快捷方式的一種方法是將抽象手勢定義為觸發器,這是Leap Motion通用規則的一個例外。我們通常喜歡將虛擬對象的直接物理操作作為使用抽象手勢的交互範例,這其中有以下幾個原因:

  1. 抽象的手勢往往模稜兩可。我們如何定義一個抽象的手勢,比如在三維空間中“向上滑動”?用幾根手指?開始和結束的時間和位置怎麼界定?動作過程要多長時間?

  2. 較少的抽象交互會干擾用戶的學習曲線。試圖讓用戶學會特定的動作以便可靠地執行命令,對系統和用戶來說都是一項重大挑戰。

  3. 快捷鍵需要快速方便的訪問,但容易誤觸。增強易用性意味著擴大動作識別的範圍,但這使我們更有可能無意中觸發快捷方式。

為了解決這個問題,我們決定不再使用單個手勢來觸發快捷方式,而是將動作分成兩個連續的階段。

第一步:翻轉手掌

Leap Motion劇透:正研究用於AR/VR的單手操控方案

我們的交互設計理念總是以現有的慣例和公約為基礎。在對數字可穿戴設備探索中,我們開創了一個重要的先河:通過旋轉手掌面觸發手動菜單。這可以很好的根據你手掌所面對的方向進行分段交互。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

在正常的手部運動和想要激活一個快捷方式的意圖之間,手掌方向似乎是一種比較適合的初始判定條件。當你將手掌轉向其他場景時,意味著你將與外部世界進行互動。

第二步:捏合手指

當你的手掌正面朝向自己時,我們想出了另一種可以輕鬆觸發交互的動作:捏合手指。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

這個動作非常簡單,只需要移動你的食指和拇指。並且這個動作很容易界定,可以通過追蹤系統來定義和表示,當你完成捏合動作時,你自身也可得到觸覺上的反饋。此外這個動作帶有明確的目的性,畢竟你不可能無緣無故的一直捏著手指。

這兩個動作可以一個接一個地執行,既快速又簡單,不會在無意中出現誤觸發的情況。這個序列似乎是我們研究單手快捷操作的堅實基礎,而下一個挑戰則是如何讓人們如何知道這是他們需要做的。

回想一下直接操作和抽象手勢的好處,我們想知道能否將這兩種模式融合在一起。通過使用虛擬對象來引導用戶完成交互,是否可以讓他們在執行抽象的手勢動作時,感覺上像是在直接操作某些東西?

彈力球

我們的解決方案是創建一個附在你手背上的物體,它可以作為你在互動過程中的視覺指示器,也可以作為捏合手指的目標。如果你的手掌朝向外側,物體會被固定在你的手背上,當手掌朝著自己的方向旋轉時,物體會向上移動到另一個位置。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

這種混合操作是很容易學習的,並且具有一定的可擴展性。接下來的問題是,這種快捷操作系統是否符合人體工程學原理,以及是否可對手掌和手指的動作進行可靠的追蹤。

手勢類型的選擇

他們也很快注意到,最簡單最快捷的手勢就是捏合以及鬆開的動作。這可以讓你執行單一快捷指令,或在兩種模式下進行切換,或在連續捏合的幾種模式之間切換。

但是,快捷指令系統往往只適用於單獨少數的場景。因此,他們又探索了多個快捷手勢系統。第一步就是調查研究手指運動的舒適活動範圍,以下是他們找到的一些比較理想的手勢動作。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

第一個就是捏合手指狀態下的手掌旋轉,例如以手腕為支點,將手指朝內側來回轉動。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

第二個手勢動作就是捏合手指狀態下朝前後方向轉動,依然是以手腕為支點轉動。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

第三個是捏合手指狀態下,以肘部肩部為支點,進行前後左右的移動。

從這些預選的手勢動作模型中,我們發現了勾勒出了它們各自的活動範圍,其可幫助用戶來判斷最佳的操作方式。其中一個是基於觸發式的空間範圍移動,將虛擬場景和用戶真實旋轉呈現1:1來移動,保證逼真的旋轉感覺。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

另一個是基於軌跡線的系統,這套系統中彈力球將跟隨用戶手指一起移動,但其被限定在沿著軌跡線移動,因此手勢出現偏差系統內也不會受影響。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

然後,我們根據這三種模型設分別設定了三套方案:弧形容積方案,弧形軌跡線方案,平移型軌跡線方案。

1,弧形容積方案

在弧形容積系統中,我們要進一步確定的就是如何在固定的空間內是非常困難的。當強力球激活快捷系統後,我們首先嚐試在虛擬空間內中生成弧形的容積圖,並將它們鎖定在之前捏好的位置,然後通過旋轉不斷去體驗和嘗試。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

這種方法的一個缺點是,它要求你的手指不能有太多其它動作,否則會影響準確性。在此方案中,當捏合手指出發彈力球后出現的弧形空間被分割成三段,並用不同顏色進行區分同時也會伴隨著的體積放大的效果。

這種方案在試用過程中有著不錯的效果,其伴隨著手指的轉動,不同顏色的模塊就會被激活,然後將每個顏色分別設定不同功能,鬆開手即激活對應的功能。整體的操作簡單、效率也比較高。

2,弧形軌跡線方案

這套方案解決了先前系統的一些問題,其將強力球限制在沿著軌跡線的點來移動,你可以用你自己最舒適的方法去旋轉手腕,不用刻意限制方向,彈力球總會沿著軌跡線去移動。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

該方案的最大優勢就是靈活,相比第一種方案它不受限於手腕轉動的方向。雖然,其整體視覺上更為簡潔,但看上去並不易用。因此,我們在該方案中融入了變形的動畫系統,通過捏合彈力球以激活另一個變形的動畫系統。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

例如上圖這樣,在手指捏合時,彈力球會呈現扁狀動畫,然後依舊被劃分稱三個區域,每個區域以不同的顏色顯示。這樣一來,看上去就更容易操控了。

不過該系統還存在一個問題,處在兩端的模塊雖可以很快的進行選擇,但中間的模塊就需要在手腕轉動多次調試才行。

3,平移型軌跡線方案

第三套方案採用了平移的方式來操控,沒有加入旋轉的操作,因此有較大區別。前面兩種旋轉方案都只設定了三個子功能,而在此方案中最初設定了四個子功能。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

並且該方案嚴格意義上講並不是前面兩種的彈力球方式,而是一個按鈕。在手背向上時,手背中間會有一個方形按鈕。而手心向上時則呈現一個彈力方塊,當手指捏合時就會激活一個十字形的軌跡線。

也就是說,在該平移型方案中依舊是軌跡線設計,手指並不需精準移動,彈力方塊總會圍繞在十字形的軌跡線上。其通過十字形劃分為四個功能區域,並以不同顏色劃分。

經過試用,該方案和預想中那樣易於使用,在VR中可以做到理想的單手快捷操作。通過反覆多次練習,就可以熟練上手操作。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

該方案還可以擴展成6道軌跡線,即增加垂直表面的2道軌跡線。理論上,該方案還可以增加更多的軌跡線。

以上就是我們對於VR/AR中單手操控快捷方式的研究,但並不是全部。為了驗證我們的研究,還需要進行更多的場景測試,也需要調研用戶對該系統是否接受,是否易於上手等。當然,如何避免用戶用另一隻手觸控手背的彈力球,甚至如何把用戶的吸引力轉移到需要的地方等這些問題都還待解決。

Leap Motion劇透:正研究用於AR/VR的單手操控方案

最終,Leap Motion要做的就是把這些方案與視覺和聽覺系統進行融合,以此來創造更沉浸的體驗,進一步提升單手操控的可行性。

另外,關於在實際使用中這些方案的使用效果和效率,以及當我們不需要使用該方案時是否存在錯誤激活的情況,Leap Motion會在下一篇文章中進行闡述,也請大家保持關注青亭網後續的報道。


分享到:


相關文章: