AI助力:英伟达开发普通视频“慢动作平滑补帧”新方法

当前市面上已经有不少支持超高帧率慢动作视频的旗舰智能机,但是该应用仍有着很大的局限性,因为时长、分辨率、帧速率三要素之间无法达到完美的平衡。另一方面,对已经录制的视频进行慢速回放的话,会产生令人不太愉悦的效果 —— 因为软件会试图填充帧数,造成画面的移动不那么自然。

好消息是,在人工智能技术的加持下,英伟达开发出了一种将普通视频“慢动作化”的新方法。

据悉,Nvidia 携手马萨诸塞州大学和加利福尼亚大学的研究人员,打造了这种可以将任何视频转换为慢动作、但又不牺牲播放平滑度的解决方案。

这项技术将在本周举办的计算机视觉和模式年度参考会议上发布,其依赖于两个卷积神经网络(CNN),让它们协同工作,以确定物体在框架和帧间的移动位置。

据悉,研究人员们借助 Nvidia Tesla V100 GPU 和 cuDNN 加速的 PyTorch 深度学习框架,用 11000 段 240 fps 视频对这套系统进行了训练,最终让它可以填补慢动作视频中缺失的帧。

Transforming Standard Video Into Slow Motion with AI(via)

如上方视频所示,即使是原始 30fps 的普通视频,也可以在慢放时实现更加平滑的播放。有趣的是,英伟达甚至携手 YouTube 知名频道主“Slow Mo Guys”来测试这项技术。

实践表明,这项技术适用于对各种规格的视频进行慢速回放时的优化。当然,想要进一步进行 AI 慢放的话,将需要更长的时间去补帧。

最后,尽管这项技术很有前景,但英伟达觉得它尚未做好向消费级市场推出的准备。在此之前,该公司仍需大量的优化,才能让系统做到实时运行。