拍不出慢动作?英伟达让普通视频秒变高清慢动作

高层速读

关键信息:英伟达的人工智能将标准视频转换成平滑的慢动作视频,每天在超过11,000个视频中训练该系统,经过训练后的卷积神经网络可以预测出视频额外的帧数。

关键数据:慢动作视频通常拍摄于每秒240帧(fps)——也就是说一秒内有240张图像,相比之下,普通的电视或电影只有24/25帧每秒。

关键意义:英伟达的人工智能部门一直在突破我们认为可能的极限,该研究是深度学习的前沿。

拍不出慢动作?英伟达让普通视频秒变高清慢动作

上部为原始视频,下部为慢4倍的英伟优化达视频

一般而言,拍摄高质量的慢镜头需要特殊的设备和大量的存储空间,并提前设置好拍摄设备,慢动作视频通常拍摄于每秒240帧(fps)——也就是说一秒内有240张图像,相比之下,普通的电视或电影只有24/25帧每秒。

你拥有的帧数越多,图像质量就越好,任何希望自己能将部分常规视频转换成流畅的慢动作剪辑的人都能体会到这一点,例如,如果你已经用标准的智能手机视频格式(30 fps)拍摄了视频,试着放慢视频的速度,就会出现一些不稳定和难以观看的东西。

而英伟达的人工智能可以估计更多的帧将会是什么样子,并创建新的帧来填充空间。它可以取任意两个现有的连续帧,并产生任意数量的新帧来连接它们,从而确保它们之间的任何动作都被保留

根据该公司的一篇博客文章:

该团队使用Nvidia Tesla V100 GPU和cuDNN加速的PyTorch深度学习框架,每天在超过11,000个视频中训练他们的系统,一旦经过训练,卷积神经网络就能预测出额外的框架。

英伟达的人工智能部门一直在突破我们认为可能的极限,它能凭空创造出人类,并能改变视频中的天气。但我们可能需要一段时间才能看到这样的东西在我们的设备中使用。

这个团队有很多的障碍需要克服,但这项研究是深度学习的前沿。


分享到:


相關文章: