文丨學術頭條
《火車到站》是電影史上最著名的電影之一。該片由法國導演奧古斯特和路易·盧米埃拍攝，在當時達到了前所未有的質量水平。
但今天再看盧米埃爾兄弟的傑作看起來充滿顆粒狀，渾濁，破舊。但一個名叫 Denis Shiryaev 的大神利用神經網絡技術，將這部經典電影提升到 21 世紀的 4K 高清水平。
這個升級版的視頻讓以前的世界變得栩栩如生，火車的細節、衣著和乘客面部的模糊細節也清晰可見。
1895 年的電影《火車進站》
1895 年拍攝的這部老電影採用了 35mm 格式膠片製作，由於當時的放映機由手搖進行驅動，其原始幀率大概在 16 幀到 24 幀之間。而且當時的膠片技術尚未成熟，我們可以看到畫面景物都是比較模糊的。但經過了神經網絡的畫面分辨率增強和插幀之後，這部老電影獲得了 4k～60fps 的畫質。
畫面分辨率增強
將老電影秒變 4K 高清，Shiryaev 又是怎麼做到的呢？
實際上，他使用了 Gigapixel AI 的商業圖像編輯軟件，該軟件內嵌專有的插值算法，可以將圖像放大 600%，在分析圖像的同時還能識別圖像的細節和結構。
我們知道圖像是由一格一格的像素組成的，單位英寸中所包含的像素點數越高，自然畫面會更加清晰。
普通高清是 1920×1080，總像素為 2073600，而 4K 高清是 3840×2160，總像素為 8294400，因此只是把普通圖像提升到 4K 高清，就需要額外補充 600 萬個像素。
因此這裡就需要插值算法，它基於周邊的像素來計算新像素，通常的方法有最近鄰、雙線性插值、雙三次插值。最近鄰方法是利用與它們的最近鄰相同的顏色填充空白像素，它雖然簡單而有效，但會產生鋸齒狀、明顯像素化的圖像。雙線性插值需要更多的處理能力，但它可以根據最近的兩個像素來分析空白像素，並在它們之間產生梯度，從而使圖像更加清晰。雙三次插值從其 16 個最近鄰像素進行採樣。與原始圖像相比，通過結合雙線性和雙三次插值的結果，圖像可以準確著色，但仍然模糊。
而這一過程，由 Gigapixel AI 利用深度卷積神經網絡來完成。正如它的產品頁面介紹的那樣，它運用了神經網絡，對成千上萬對照片進行分析，來了解圖片細節是如何丟失的，算法會根據所學的知識在新圖像中填充信息，有效為照片添加新細節。
一般來說，神經網絡生成細節是人像生成網站和類似生成對抗網絡所使用的技術。當向神經網絡顯示一張人臉的低分辨率圖像時，它會識別出這是一張臉，並向圖像中的眼睛、鼻子和嘴巴填充正確的細節，讓圖片更加清晰。正因為如此，原始膠片才會充滿栩栩如生的細節。
視頻插幀
解決了像素低的問題，還需要解決視頻卡頓問題，因此 Shiryaev 還使用了 DAIN(Depth-Aware Video Frame Interpolation)這個軟件，它可以對電影中的幀進行預測，然後插入視頻中。
為了讓老電影放映效果達到與 4K 同樣的效果，Shiryaev 將足夠多的圖像添加到電影中，而 DAIN 每秒會自動生成 36 個圖像添加到電影中。
為電影上色
受 Shiryaev 視頻的啟發，有網友將他的視頻中的一幀放到安卓的彩色圖像應用程序中，來自動給圖像著色。同樣是利用神經網絡，從一堆彩色照片開始，將它們轉換成黑白照片，然後訓練一個神經網絡來重建顏色原稿。
可以看到樹木是綠色的，砂石是棕色的，旁邊一路人的外套是黑色的。
AI 助力視頻修復
去年，英偉達發佈了一個叫 Super SloMo 的神經網絡，它能從普通的視頻“腦補”出高幀率的畫面，從 30fps 插幀到 240fps，即使放慢 8 倍也不會感到卡頓。
這個項目使用深度神經網絡，對視頻中缺失的幀進行預測並補全，從而生成連續慢速回放的效果。除此外，還能排除原視頻中被遮擋的像素，從而避免在生成的內插中間幀裡產生模糊的偽象。
該論文的第一作者是本碩畢業於西安交通大學、現在在馬薩諸塞大學阿默斯特分校讀博士的 Huaizu Jiang。第二作者 Deqing Sun 是英偉達學習與感知研究小組的高級研究員。
論文發佈時並沒有將代碼和數據集公開，於是有人在 Github 上開源了他對 Super SloMo 的 PyTorch 實現，地址：https://github.com/avinashpaliwal/Super-SloMo
有興趣就試一試吧！
參考鏈接：https://www.engadget.com/2020/02/04/how-ai-helped-upscale-an-antique-1896-film-to-4k/
https://arstechnica.com/science/2020/02/someone-used-neural-networks-to-upscale-a-famous-1896-video-to-4k-quality/
https://zhuanlan.zhihu.com/p/53534547
