Magic Leap高管:將與BrainLab合推AR醫療應用生態

與微軟HoloLens相比,Magic Leap One的定位似乎更加廣泛,尤其是Magic Leap所提出的Magicverse新空間互聯網概念,涉及的遠不僅是娛樂、遊戲場景,還涉及社交、健康醫療、能源和水力、交通等與我們生活息息相關的多個層面。

Magic Leap高管:將與BrainLab合推AR醫療應用生態

前不久,Magic Leap曾宣佈正在與Brainlab合作,研發用於手術、診療、康復等場景的AR應用,並且介紹了與SyncThink、XRHealth、Dan Marino Foundation和斯坦福兒童醫院正在合作進行的一些試點項目。

據瞭解,Dan Marino Foundation曾利用Magic Leap One開發了一款名為VITA的虛擬面試練習系統,旨在通過空間計算功能來幫助自閉症等發育性殘疾患者,讓他們克服在面試等職業場景中可能會遇到的困難。它的特點是,在利用AR為患者模擬情景的同時,還通過AI識別注視點、語言模式和反應時間,為患者生成實時反饋,提供對學習計劃的自適應調整。

Magic Leap高管:將與BrainLab合推AR醫療應用生態

而斯坦福兒童醫院則將Magic Leap One用於醫療教學,開發了一款名為CHARM的AR應用。據悉,CHARM的特點是定製性強,可簡化教學模擬的配置,取代傳統教學所使用的的假體等昂貴醫療訓練設施。同時,CHARM支持多人交互,老師與學生在同一環境下進行授課。

另外,Magic Leap還與SyncThink合作,將AR頭顯的眼球追蹤功能用於診療、腦健康分析和遠程診療。而與XRHealth的合作,則是將其ARHealth平臺與Magic Leap One AR頭顯結合,將AR空間計算用於康復、認知訓練、心理評估和緩解疼痛等場景。

Magic Leap高管:將與BrainLab合推AR醫療應用生態

近期,外媒VatorNews採訪到Magic Leap醫療部門副總裁Jennifer Esposito,希望進一步瞭解上述AR醫療合作項目,以及Magic Leap計劃如何用技術改變醫療。據悉,Esposito在加入Magic Leap之前,曾在通用電氣醫療集團就職13年以上,還曾在Intel擔任4年多健康與生命科學部門總經理。

Magic Leap高管:將與BrainLab合推AR醫療應用生態

Jennifer Esposito,圖片來自Twitter

VatorNews:你是今年1月加入Magic Leap的,請透露一下加入的理由,是什麼吸引你來到這裡?

Jennifer Esposito:在我加入Magic Leap之前,其實他們的團隊研究醫療業務已經有一段時間了,尤其是CEO Rony Abovitz來自醫療設備背景,因此醫療也是這家公司的一部分。加入一個已經從事AR醫療研究的團隊,是對於我的吸引力之一,我希望在這裡幫助醫療應用的進一步開發,以及構建Magic Leap平臺在醫療領域的生態。

Magic Leap團隊致力於將AR用於多種醫療場景,不管是在醫院、診所還是用戶家裡。AR既可以幫助醫生,也可以幫助病人,出於對它的興趣我選擇加入Magic Leap。

VN:你加入Magic Leap後學到了什麼?空間計算曾為你帶來哪些驚喜?

JE:有趣的是,空間計算與AI、物聯網、5G等技術幾乎是同一時期興起,空間計算可以說是5G的一個重要應用,此外如果將空間計算與AI、物聯網結合,將有可能實現我們已經談論很多年,但一直沒能真正實現的應用場景。

我們認為,空間計算將會成為一個全新的計算平臺,它將結合社交技術和全新的計算方式,將數字世界與物理世界緊密結合。

VN:你認為空間計算將如何改變醫療?可否深入講解一下你所說的一些應用場景?

JE:先拿醫院來講,我們去年就曾宣佈與做醫療導航相關技術的BrainLab達成合作,一起開發一個叫做“軟件開發框架”的平臺。這個平臺可以讓生態內的其他醫療設備公司開發Magic Leap應用,還能利用我們將與BrainLab一同開發的新工具和功能。

這樣做的目的是,希望利用空間計算來優化或加強傳統手術方式,因此我們將推出的第一款產品將著重於術前規劃。今年底,你會看到我們推出將平面術前規劃變成3D形式的工具,它將實現以前無法做到的一些協作方式。這個新的技術目前還在初期階段,它將著重於3D空間可視化,以及與不同類型數據的結合,讓複雜的數據也能更容易理解。將可視化數據放在3D空間中,你將能夠通過移動來對其進行瀏覽,還能直接進行刪除等操作。

未來,我們還將與BrainLab繼續合作開發其他應用,一步一步實現未來真正的數字手術室。

Magic Leap高管:將與BrainLab合推AR醫療應用生態

VN:Magic Leap還曾與XRHealth和SyncThink合作,可以談一談嗎?

JE:SyncThink是一家開發多種生物標記相關技術的公司,我們合作開發的應用目前正在臨床驗證階段,不過未來有望將通過Magic Leap設備上的多種傳感器結合來診斷病人。SyncThink在識別腦震盪等神經心理學症狀上有許多經驗,他們可以將已有的病症測驗轉化到Magic Leap平臺上。

XRHealth目前已經有多種用於不同類型療法的解決方案,也是一家在醫療解決方案上有很多年經驗的公司。就像與BrainLab和SyncThink的合作那樣,Magic Leap希望構建一個相對開放的生態環境,為傳統醫療公司提供多種不同的工具,加速他們技術與Magic Leap的結合。

VN:你認為空間計算還有多久會在醫療領域普及?

JE:目前還在早期階段,不過我們希望通過為開發者提供有效、簡便的工具,來幫助加速這些應用場景的實踐,希望在未來2到5年左右讓它得到普及。

VN:你認為哪些醫療科技擁有更大未來潛力?

JE:如上面所說,空間計算、AI、物聯網和5G網絡的結合,將會支持一些未來的潛在場景。比如Intel工作的時候,我們曾常常討論遠程醫療、虛擬療法等,在那之後的4或5年後,這些場景依然沒有完全實現。而我之前提到的那些技術,將有望讓遠程醫療等逐漸成為現實,不過這需要的不僅是穿戴式設備,或者5G網絡,而是所有技術結合在一起。

VN:如果遠程醫療經過許多年才開始走向主流,那麼你認為空間計算是否將需要更少的時間,因為遠程醫療等場景已經存在?

JE:這些場景將會是空間計算走向主流的關鍵,不過問題在於,這些技術什麼時候能夠真正融合。在開始討論遠程醫療潛力的時候,我們也曾討論過物聯網,之後又看到了穿戴式AR頭顯問世。總之,隨著技術不斷進步,以前曾經暢想過的場景才能夠成為現實。

VN:你認為空間計算需要多久才能在醫療領域成為主流?

JE:我認為接下來很快將看到術前規劃、數據可視化等有趣的應用,它們將逐漸變得越來越複雜,並且在未來2或5年裡與臨床護理越來越集成。

VN:在那之後呢?你可以幻想一下10年後的醫療領域嗎?

Magic Leap高管:將與BrainLab合推AR醫療應用生態

Magicverse

JE:未來,當空間計算與5G結合,我們希望Magicverse的概念能夠實現,讓我們能夠創作真實地點和空間的數字孿生。比如,你將看見數字醫院或者手術室,或者能夠通過可視化來了解數字空間的運行原理,它甚至還能優化工作流程,協助醫生工作等等。

總體來講,空間計算能夠讓更多人享受到醫療,因為你將不會再收到地理位置限制。不管在世界哪個角落的專家,都能夠聚在數字世界中,商討複雜的臨床案例。或者,患者也更容易找到合適的專家,即使專家在距離你很遠的地方也沒問題。

VN:Magic Leap對於醫療領域的最終目標是什麼?你認為怎樣才算是成功?

JE:我希望看到一個健全的空間計算開發生態,也希望看到空間計算與5G等技術相結合,如果這些在接下來2或3年裡實現,在我看來是一種成功。

VN:還有什麼希望向讀者傳達的嗎?

JE:希望越來越多的開發者、合作者和解決方案供應商能夠利用Magic Leap的空間計算平臺,並結合5G、物聯網等其他技術,這是目前的重點之一。另一方面,還想強調未來的Magicverse將有望讓更多人享受到合適的醫療,打破地理位置所帶來的侷限。


分享到:


相關文章: