AI助力:英偉達開發普通視頻「慢動作平滑補幀」新方法

當前市面上已經有不少支持超高幀率慢動作視頻的旗艦智能機,但是該應用仍有著很大的侷限性,因為時長、分辨率、幀速率三要素之間無法達到完美的平衡。另一方面,對已經錄製的視頻進行慢速回放的話,會產生令人不太愉悅的效果 —— 因為軟件會試圖填充幀數,造成畫面的移動不那麼自然。

好消息是,在人工智能技術的加持下,英偉達開發出了一種將普通視頻“慢動作化”的新方法。

AI助力:英伟达开发普通视频“慢动作平滑补帧”新方法

據悉,Nvidia 攜手馬薩諸塞州大學和加利福尼亞大學的研究人員,打造了這種可以將任何視頻轉換為慢動作、但又不犧牲播放平滑度的解決方案。

AI助力:英伟达开发普通视频“慢动作平滑补帧”新方法

這項技術將在本週舉辦的計算機視覺和模式年度參考會議上發佈,其依賴於兩個卷積神經網絡(CNN),讓它們協同工作,以確定物體在框架和幀間的移動位置。

AI助力:英伟达开发普通视频“慢动作平滑补帧”新方法

據悉,研究人員們藉助 Nvidia Tesla V100 GPU 和 cuDNN 加速的 PyTorch 深度學習框架,用 11000 段 240 fps 視頻對這套系統進行了訓練,最終讓它可以填補慢動作視頻中缺失的幀。

Transforming Standard Video Into Slow Motion with AI(via)

如上方視頻所示,即使是原始 30fps 的普通視頻,也可以在慢放時實現更加平滑的播放。有趣的是,英偉達甚至攜手 YouTube 知名頻道主“Slow Mo Guys”來測試這項技術。

AI助力:英伟达开发普通视频“慢动作平滑补帧”新方法

實踐表明,這項技術適用於對各種規格的視頻進行慢速回放時的優化。當然,想要進一步進行 AI 慢放的話,將需要更長的時間去補幀。

最後,儘管這項技術很有前景,但英偉達覺得它尚未做好向消費級市場推出的準備。在此之前,該公司仍需大量的優化,才能讓系統做到實時運行。


分享到:


相關文章: