谷歌发布最新AI应用Move Mirror 使得动作捕捉技术在低成本下完成

7月20日,谷歌发布了一个有趣的AI应用——Move Mirror(动镜)。它可以通过使用摄像头来捕捉用户的动作姿势,并实时在8万张图片中进行反向搜图,来匹配和你动作相近的图片。

谷歌发布最新AI应用Move Mirror 使得动作捕捉技术在低成本下完成

谷歌公司

作为AI大佬,Move Mirror并非是谷歌的首款AI应用。在此之前,谷歌研发的AI微信小程序 “猜画小歌”在微信朋友圈掀起了一股“画图热”。这款小程序提供了你画我猜的玩法,用户在小程序上作画,谷歌的AI负责猜出图画中的物体。该小程序由来自谷歌AI的神经网络驱动,该网络源自全世界最大的、囊括超过 5000 万个手绘素描的数据群。

谷歌发布最新AI应用Move Mirror 使得动作捕捉技术在低成本下完成

此次谷歌发布的Move Mirror应用,就像镜子一样反射人类肢体运动。无论用户在网络镜头前跳舞还是打拳,它都可以实时捕捉动作,并将姿势与网上的照片库进行在线比较,最终为用户提供动作最为相近的图片。据悉,此举是为了让程序员和制造商更轻松地接触机器学习,鼓励他们接受这项技术,并打造属于自己的应用程序。

谷歌发布最新AI应用Move Mirror 使得动作捕捉技术在低成本下完成

其实,类似于Move Mirror的运动捕捉技术早已在影视行业内被使用了数十年,以微软Kinect为代表的体感设备也在游戏领域大放异彩,只是这些硬件的价格都不菲。但Move Mirror项目使得运动捕捉能在低成本的情况下完成。

谷歌发布最新AI应用Move Mirror 使得动作捕捉技术在低成本下完成

Move Mirror的工作原理并不复杂,只需一个摄像头和网页浏览器即可体验。它首先借助一套名叫 PoseNet 的开源 " 姿势评估模型 “,来检测身体的部位和关节位置,对人体的 17 个关键点位进行分析(包括肩部、脚踝和臀部),但不会考虑任何个人特征,比如性别、身高或体态。分析完姿势后,再与TensorFlow.js数据库(一个可在浏览器内使用的机器人学框架库)中的8万多张照片比较,并在15毫秒内找到最匹配的图片。随着你变换姿势,Move Mirror还能在找到的图片基础上预测你的动作,最后将所有匹配的图像按顺序串联在一起生成一个GIF动画,这样用户就能将其分享至社交媒体。

谷歌发布最新AI应用Move Mirror 使得动作捕捉技术在低成本下完成

Move Mirror项目是由Google Creative Lab的Jane Friedhoff和Irene Alvarado所研发,并得到了Google Brain的TensorFlow.js团队帮助,使得PoseNet成功移植到了TensorFlow.js上。TensorFlow.js让用户可以在他们自己的浏览器中运行机器学习模型——无需服务器。这解决了大家对隐私问题的担心。AI不会将任何图像发到服务器,因为所有图像识别工作都是在本地浏览器中进行的。基于动作捕捉技术,Move Mirror团队期待未来开发出更多有趣应用,比如匹配舞蹈动作,匹配经典电影片段,甚至可以帮助人们在家中练习瑜伽或进行理疗。

除了Move Mirror和猜画小歌,谷歌开发的其它在线游戏也颇受欢迎。在Talk to Books (与书对话)中打入一句话或一个问题,受过训练的AI就会在不依赖关键词的情况下,定位到相关的书籍并用里面的话作答。而Semantris(词义联想) 则不断考验你的概念理解和反应能力——你需要输入与要求相关的单词,包括邻近和相反语义。

科技 | AI


分享到:


相關文章: