又一项AI技术应用——生成超级慢速视频

Nvidia通过使用AI填充额外的帧来生成令人难以置信的慢速视频

又一项AI技术应用——生成超级慢速视频

慢速VS超级慢速

创建慢动作镜头是关于每秒捕捉大量帧的。 如果录制得不够充分,只要放慢视频速度,就会变得不稳定,无法观看 - 除非您使用人工智能来想象多余的帧。

芯片设计师Nvidia的新研究正是通过深度学习将每秒30帧的视频变成华丽的240帧每秒慢动作。 本质上,AI系统查看两个不同的帧,然后通过跟踪从一帧到下一帧的对象移动来创建中间镜头。 这与实际想像人类大脑的镜头不一样,但它会产生准确(但不完美)的结果。

这个过程需要在商业上使用之前进行改进,但是如果改进后,它可以用于在智能手机录像之后添加慢动作效果。

“虽然可以用手机拍摄每秒240帧的视频,但以高帧率记录所有内容是不切实际的,因为它需要大容量的存储器,而且对于移动设备而言功耗很大,”研究人员在一篇论文中写道。描述他们在预打印服务器arXiv上的工作。 “出于这些原因和其他原因,从现有视频中生成高质量的慢动作视频非常令人感兴趣。”

虽然有限制。对于初学者来说,研究人员必须训练他们的深度学习系统来处理特定类型的素材。所以,为了减慢汽车在水中滑行的视频,他们必须先用相似的镜头对它进行训练。这可能会限制消费者版本的研究可以将慢动作应用于目标视频。值得注意的是,这种技术不能产生无限数量的中间帧。没有数据,计算机就不可能预测真实世界物体的运动和行为。但是,Nvidia的系统最多可以生成7个中间帧,这足以创造体面的慢动作。

Nvidia的技术看起来比现有的伪造慢动作镜头的方法更快更容易。预计不久的将来,手机相机中会出现类似的功能。


分享到:


相關文章: