Xmov魔琺科技:VTuber背後的“提線操控者”

今年的CES Asia大會上,一家名為Xmov的公司引起了87君的興趣。他們的展臺在進行演示時總是圍著一波又一波的觀眾,87君上前一探究竟時發現,原來他們在演示如何通過結合了面部表情捕捉和手指捕捉的全身光學動作捕捉系統來驅動VTuber,讓虛擬角色動起來。


Xmov魔琺科技:VTuber背後的“提線操控者”


在現場演示中,無論演員做出什麼樣的動作和表情,後方電視機畫面中的虛擬角色都能做出很好的還原,甚至是翻滾動作也能精準的呈現。最近幾年VTuber可謂十分火爆,視頻網站上的虛擬角色們都吸引了大批的擁簇,VTuber在製作過程中用到的技術正是應用在傳統影視和遊戲行業的動作捕捉技術,但對於面部表情和細微動作的還原有著更高的要求。

這家名為Xmov魔琺科技的公司究竟是通過什麼樣的動作捕捉技術來精細的驅動VTuber虛擬角色來引起觀眾的興趣呢?這家新公司背後又有著怎樣的故事呢?87君對現場的負責人進行了一次採訪。

Xmov的創立


Xmov魔琺科技:VTuber背後的“提線操控者”


在談到Xmov的創立過程時,87君瞭解到,Xmov創立於2018年1月,創始人名為柴金祥,是目前德克薩斯農工大學的副教授。柴金祥擁有卡耐基梅隆大學機器人研究所的博士學位,主要研究計算機圖形學、計算機視覺和機器學習,在機器人學、人機交互、生物力學、虛擬和增強現實等其他學科中有廣泛的應用。


Xmov魔琺科技:VTuber背後的“提線操控者”


柴金祥博士在計算機圖形學和計算機視覺領域已經有著超過20年的研究經驗,而Xmov創始團隊中的其他成員則來自微軟研究院、美國德克薩斯農工大學、中科院等機構和學校,共同構成了一個有著深厚技術背景的團隊,核心團隊成員數量達到十幾人。

Xmov在一成立就獲得了來自紅杉資本領投、東方福海和晨興資本跟投的3000萬元天使輪融資,其中還包括了微軟人工智能及微軟研究事業部負責人沈向洋博士的個人投資。Xmov的工作人員透露稱Xmov的第二輪融資也已經確定,將於本月底對外披露。


Xmov魔琺科技:VTuber背後的“提線操控者”


Xmov成立之初與原力動畫達成合作,為其提供高精度的動作捕捉技術,並提高動畫公司的工作效率。目前Xmov的合作伙伴已經囊括了國內頂尖的遊戲公司與動畫公司,不過出於保密原因,具體的名稱不能對外公開。

作為後來者,Xmov的優勢在哪裡?


Xmov魔琺科技:VTuber背後的“提線操控者”


被問及Xmov與行業先行者相比,有著什麼樣的優勢時,Xmov工作人員表示,首先Xmov提供的是全身光學動作捕捉技術,能夠精確的捕捉演員的面部動作和手指動作。

相比於國內目前的行業先行者來說,Xmov的優勢在於兩點:包括面部表情和手指動作在內的全身光學動作捕捉技術,以及依託於AI技術帶來的精度和效率優勢。


Xmov魔琺科技:VTuber背後的“提線操控者”


在採訪中,87君還了解到了光學動捕與慣性動捕的差異,慣性動捕技術的優勢在於其貼身安置的傳感器能夠低延遲的還原全身的骨骼動作,缺陷在於慣性傳感器擁有累積誤差,工作時間長了以後動作捕捉效果會下降。此外慣性動捕傳感器的續航時間有限,不能支持長時間的工作。


Xmov魔琺科技:VTuber背後的“提線操控者”


而光學動捕的優點在於不受累積誤差的影響,而且能夠長時間持續工作。不過光學動捕也有著自己的侷限:對於光照環境要求高,且不能受到遮擋,否則會影響到捕捉精度。

為了彌補傳統光學動作捕捉技術的侷限,Xmov引入了人工智能算法,來還原被遮擋部位的動作,能夠很好的補全被遮擋部位的動畫。現場演示中,即使動捕演員做出向前翻滾等會遮擋身體許多標記點的動作,實時動畫中也能夠很好的還原演員做出的動作。

Xmov希望通過提供AI驅動的高精度、高效率的動作捕捉服務來幫助無論是電影製作、遊戲研發還是虛擬人等行業的公司以更低的成本更好的效果實現自身的業務需求。

Xmov的商業模式


Xmov魔琺科技:VTuber背後的“提線操控者”


在商業模式上,Xmov與傳統的動作捕捉企業有著一些區別。Xmov希望通過自身的動作捕捉技術,來為動畫製作等行業提供更具生產力的製作方式,縮短時間週期、提高動畫精度並且降低成本。

Xmov的工作人員表示,無論是OptiTrack還是瑞立視等公司,他們的商業模式更多的是設備的銷售。而Xmov則主要對外售賣動作捕捉服務而不是硬件產品。

Xmov認為,對於客戶來說,為了用上最新的動作捕捉技術而一直對硬件系統進行更新換代是一件很痛苦的事情。Xmov通過這樣的商業模式能及時的將自身研發出的新技術應用到動作捕捉系統當中,讓客戶能夠專注於動作捕捉的產出而無需關心技術和硬件的迭代,從而讓客戶能夠降低成本並享受新技術帶來的生產力提升。

至於Xmov動作捕捉服務的具體售價,工作人員表示這取決於客戶對於動作捕捉精度的需求。如果想要實現真人CG級別的動作捕捉,服務的售價自然會上浮。目前Xmov的服務並沒有標準的售價,而是依託於項目來進行具體的報價。

Xmov的技術如何應用於VR/AR行業?


Xmov魔琺科技:VTuber背後的“提線操控者”


動作捕捉技術在VR/AR行業已經有著很多應用。Xmov除了全身光學動作捕捉系統外,還有著很多其他技術,例如基於單目/雙目攝像頭的各種計算機視覺算法。Xmov希望通過open.Xmov.ai這一平臺將這些算法實現的功能提供給大家,為VR/AR應用提供更多的服務。

open.Xmov.ai是一個開放的AI能力平臺,能夠提供雙目或單目攝像頭的人臉識別、手勢識別、身體部位劃分等服務,可以應用於刷臉支付等各種場景。open.Xmov.ai這個平臺能夠為VR/AR提供更多的交互方式,例如手勢交互、語音互動,也可以實現基於人臉識別或身體部位識別的AR濾鏡效果。


Xmov魔琺科技:VTuber背後的“提線操控者”


Xmov工作人員表示,雖然百度等公司也提供了同樣的AI平臺,但Xmov在技術上對自己有著充足的信心,也歡迎開發者們對於各種平臺進行對比測試

VTuber火熱,Xmov是否正考慮打造自己的IP?


Xmov魔琺科技:VTuber背後的“提線操控者”


最近兩年VTuber逐漸變得火爆起來,而VTuber的技術基礎正是動作捕捉。Xmov在現場演示的蘑菇醬就是自己製作的動畫角色。

當被問及是否會自己打造一個VTuber IP時,Xmov表示,他們是有這樣的想法的,但目前仍在一個0-1的階段。

Xmov擁有著打造VTuber所需的全部製作技術,製作對於他們來說不是什麼難事,但VTuber的成功還有很大一部分要看運營。

後記


Xmov魔琺科技:VTuber背後的“提線操控者”


今年CES Asia大會上,87君體驗到了許多公司的新技術、新產品,也能夠看到越來越多的行業開始接受和應用VR/AR這兩項新技術來提升自家產品的體驗。但是不得不說,優秀新公司湧現才是最令人感到興奮的事情。

隨著5G普及速度的加快,VR/AR行業的應用場景將得到擴展,希望VR/AR行業能夠藉著5G的東風湧現出更多優秀的新企業。

87870原創文章,轉載須註明來源及鏈接,否則將追究其法律責任!


分享到:


相關文章: