谷歌發佈最新AI應用Move Mirror 使得動作捕捉技術在低成本下完成

7月20日,谷歌發佈了一個有趣的AI應用——Move Mirror(動鏡)。它可以通過使用攝像頭來捕捉用戶的動作姿勢,並實時在8萬張圖片中進行反向搜圖,來匹配和你動作相近的圖片。

谷歌發佈最新AI應用Move Mirror 使得動作捕捉技術在低成本下完成

谷歌公司

作為AI大佬,Move Mirror並非是谷歌的首款AI應用。在此之前,谷歌研發的AI微信小程序 “猜畫小歌”在微信朋友圈掀起了一股“畫圖熱”。這款小程序提供了你畫我猜的玩法,用戶在小程序上作畫,谷歌的AI負責猜出圖畫中的物體。該小程序由來自谷歌AI的神經網絡驅動,該網絡源自全世界最大的、囊括超過 5000 萬個手繪素描的數據群。

谷歌發佈最新AI應用Move Mirror 使得動作捕捉技術在低成本下完成

此次谷歌發佈的Move Mirror應用,就像鏡子一樣反射人類肢體運動。無論用戶在網絡鏡頭前跳舞還是打拳,它都可以實時捕捉動作,並將姿勢與網上的照片庫進行在線比較,最終為用戶提供動作最為相近的圖片。據悉,此舉是為了讓程序員和製造商更輕鬆地接觸機器學習,鼓勵他們接受這項技術,並打造屬於自己的應用程序。

谷歌發佈最新AI應用Move Mirror 使得動作捕捉技術在低成本下完成

其實,類似於Move Mirror的運動捕捉技術早已在影視行業內被使用了數十年,以微軟Kinect為代表的體感設備也在遊戲領域大放異彩,只是這些硬件的價格都不菲。但Move Mirror項目使得運動捕捉能在低成本的情況下完成。

谷歌發佈最新AI應用Move Mirror 使得動作捕捉技術在低成本下完成

Move Mirror的工作原理並不複雜,只需一個攝像頭和網頁瀏覽器即可體驗。它首先借助一套名叫 PoseNet 的開源 " 姿勢評估模型 “,來檢測身體的部位和關節位置,對人體的 17 個關鍵點位進行分析(包括肩部、腳踝和臀部),但不會考慮任何個人特徵,比如性別、身高或體態。分析完姿勢後,再與TensorFlow.js數據庫(一個可在瀏覽器內使用的機器人學框架庫)中的8萬多張照片比較,並在15毫秒內找到最匹配的圖片。隨著你變換姿勢,Move Mirror還能在找到的圖片基礎上預測你的動作,最後將所有匹配的圖像按順序串聯在一起生成一個GIF動畫,這樣用戶就能將其分享至社交媒體。

谷歌發佈最新AI應用Move Mirror 使得動作捕捉技術在低成本下完成

Move Mirror項目是由Google Creative Lab的Jane Friedhoff和Irene Alvarado所研發,並得到了Google Brain的TensorFlow.js團隊幫助,使得PoseNet成功移植到了TensorFlow.js上。TensorFlow.js讓用戶可以在他們自己的瀏覽器中運行機器學習模型——無需服務器。這解決了大家對隱私問題的擔心。AI不會將任何圖像發到服務器,因為所有圖像識別工作都是在本地瀏覽器中進行的。基於動作捕捉技術,Move Mirror團隊期待未來開發出更多有趣應用,比如匹配舞蹈動作,匹配經典電影片段,甚至可以幫助人們在家中練習瑜伽或進行理療。

除了Move Mirror和猜畫小歌,谷歌開發的其它在線遊戲也頗受歡迎。在Talk to Books (與書對話)中打入一句話或一個問題,受過訓練的AI就會在不依賴關鍵詞的情況下,定位到相關的書籍並用裡面的話作答。而Semantris(詞義聯想) 則不斷考驗你的概念理解和反應能力——你需要輸入與要求相關的單詞,包括鄰近和相反語義。

科技 | AI


分享到:


相關文章: