這兩年，高刷新率屏幕除了在PC、筆記本端開始流行以外，在手機上也作為重要的賣點出現了，今年更是作為最新的流行趨勢成為新一代熱點，市場上不斷湧現出屏幕刷新率為90Hz、120Hz的新手機。
這塊佔據手機正面絕大比例的屏幕可以說是手機硬件的窗戶，它直觀地提供著更為流暢更為真實的畫面，毫無疑問，高刷新率屏幕將會是未來手機的標配。而最近發佈的Oppo Find X2 Pro和一加8系列手機上面除了將屏幕的刷新率提高到120Hz以外，還另外使用了名為MEMC的視頻插幀技術，這是為什麼呢？
與觀看現實景物不同的是，我們通過屏幕看到的並不是“毫無間隔”的連續景象，而其實是一幀幀畫面。這些畫面在極短的時間內迅速地顯現、消失，通過視覺殘留現象讓人腦誤以為是連貫的。一般而言，單位時間內人眼看到的連續幀越多，我們對影像的主觀感受即為更真實更自然，這也是高刷新率屏幕提升用戶體驗的核心要點。
舉一個簡單的例子，下面的這張動圖很清晰地描述了不同幀率間的區別：最左邊以15fps運動的方塊有明顯的卡頓感，而最右邊以60fps運動的方塊則相當流暢。那這跟MEMC視頻插幀技術有什麼關係呢？我們平常看到的視頻都是低幀率的嗎？
高刷新率的屏幕需要高幀率的內容
是的，你答對了。我們平常看到的網絡視頻，或者是在電影院裡看到的電影等等大多都是以24、25或30fps呈現的，少數內容會以60fps的形式出現，他們有什麼區別呢？仔細觀看下面這張動圖中的籃球，是不是覺得最右邊的籃球不管怎麼動都很清晰，而最左邊的在下落時是模糊的？對了，這就是高幀率視頻最為直觀的好處，即使視頻內容中的主體在高速運動，它也能讓你看清楚細節。
既然高幀率視頻有這樣的好處，那為什麼我們現在的視頻還都是24、25或30fps的呢？這是由歷史原因造成的。
回想一下你在各種地方見過的電影、電視劇或是各種家庭錄像，是不是很少見到以60fps形式呈現的，尤其是電影，基本上全部都是24fps的。電影工業在上個世紀三十年代將拍攝與播放的幀率統一成了24fps，而後電視廣播系統有的用25fps（PAL），有的用30fps（NTSC），這些上個時代的製作方式一直被保留了下來，雖然近期在影視行業內部也有不少換用高幀率製作的製作人和作品，但對於大局並沒有產生太大的影響，未來很長一段時間內低幀率的影視內容仍然將佔據絕對主流。
跟隨著影視行業腳步成長起來的網絡視頻和短視頻製作行業自然也是遵從著前人們的經驗，沿用著低幀率製作手法。但隨著移動互聯網以及智能設備的發展，內容與設備硬件能力之間的矛盾逐漸顯現出來了：手機屏幕的刷新率已經往90Hz，甚至120Hz去了，而我們日常觀看到的視頻內容中只有少部分採用了60fps，大部分仍然停留在低幀率基準上，我們在觀看視頻時沒能用上硬件的能力，豈不是有些浪費？
原因還是像上面所說的，短時間內並不會有很多內容創作者切換去製作高幀率內容，而是逐漸地使用以高幀率為基準的製作手法，這將是一個相當漫長的過渡過程。在這個漫長的過渡期中，我們只好用一些過渡手段，比如說，我們自己來造高幀率的內容，怎麼造呢？
這時候就要請出在電視和PC上面已經有較為成熟應用的插幀技術，它可以對低幀率內容進行補充，讓它“升級”成高幀率的。這項技術需要一定量的計算，可以由CPU做通用計算完成，也可以將計算任務交給專門的插幀芯片來處理，而隨著半導體工藝的進步，專門的插幀芯片已經可以做進手機，於是，我們在今年看到了OPPO和一加將硬件插幀這套解決方案集成進新機型中，在手機端達成了對視頻進行插幀這樣的目標。
插幀技術的簡要原理
說了那麼多，我們還是簡單地講一講插幀技術是什麼，以及它的實現原理。插幀的意思就是往原本連貫的兩幀圖像之間插入新的幀，這個幀可以是重複之前幀的複製幀，可以是全黑的黑幀，也可以是通過計算得到的介於兩幀之間的中間幀。
插重複幀和插黑幀都是比較簡單的插幀手法，兩者都能解決視頻幀率不夠的問題，但是效果一般，其中前者比較常見，PC上有些視頻播放器會自動在播放幀率不夠60Hz的視頻時插入複製幀以達成同步。而插黑幀則是在減少拖影，改善動態畫面等方面有著更好的表現，但是會讓顯示器/電視犧牲掉一定的亮度。
而最後一種插幀方法——插入中間幀——就需要通過計算來產生了，目前的中間幀一般都是通過運動預測與補償（Motion Estimation/Motion Compensation）算法來計算得到的，它可以是對圖像進行全局分析進行計算，也可以是先將圖像進行分塊然後再計算。
插幀中的運動預測與補償算法邏輯跟視頻編碼中所使用的算法有點像，常見的插幀算法同樣是將畫面分成一定大小的塊，然後通過比對兩幀之間的差異尋找出現運動的塊，通過分析圖像塊的運動趨勢，再輔以計算得到中間幀。
插幀技術已經來到我們身邊
在登陸手機之前，插幀技術已經在我們身邊的一些電子設備上面有應用了，其中效果比較好且比較常見的就是各種電視機，比如索尼在旗下電視機中引入的Motionflow技術就是其中的代表。
從示意圖上可以看到，Motionflow技術將插黑幀與插中間幀相結合，實現了將原本幀率為60fps的輸入源插幀到240fps的特性。應用在電視機上面的插幀技術有效減少了拖影，提高了動態清晰度，提升了人們觀影時的體驗。現在很多電視機廠商都已經引入類似Motionflow的插幀技術了，比如國內的一些互聯網電視品牌都將該技術作為一大賣點來宣傳。
而在PC端上面，插幀技術也早已被人們應用，甚至AMD直接將這類技術扶正，由顯卡硬件提供相關支持，也就是Fluid Motion Video。因為有官方的支持，它便利好用效果不錯，被不少玩家所讚譽，可惜目前新一代的RDNA架構暫時還不支持該特性。還有像Smooth Video Project（SVP）這樣的插幀軟件，能夠充分利用PC硬件算力對視頻進行插幀。總而言之，對視頻內容進行插幀的目的就是提高視頻的流暢度。
高幀率是星辰大海
如果高幀率是星辰大海，那麼插幀技術就是我們衝向這片大海的衝鋒艇。由於影視行業的轉向還很漫長，短時間內我們需要通過插幀的手段來“提前”感受高幀率視頻的好處，除了傳統的基於MEMC的插幀算法外，現在業界還在研究基於人工智能的插幀技術，以彌補傳統插幀算法在複雜場景下會出現的缺陷問題，比如由上海交大Bao Wenbo博士等人研發出來的DAIN插幀算法就利用上了神經網絡。
這些新的由深度學習提供支持的算法已經得到了廣泛的應用，上至百年前的電影，下至近幾年的新片，它都能夠很好地應對，比如我們之前就介紹過有人將百年前的《火車進站》插幀至60fps，其中使用的正是上面介紹過的DAIN算法，其實際效果還是相當優秀的。
高幀率儼然已經成為時代新聲，不管是高刷新率屏幕還是高幀率內容，都是人們在追求的新鮮玩意兒。在這個天天對著屏幕看的數字時代，高幀率應用直接有效地提升著我們使用設備時的體感，讓眼睛看到的景象更為自然合理。
原本我們在電視或PC端才能夠體驗到由插幀技術補足的視頻內容，現在隨著硬件插幀功能被手機集成，我們在手機端也能夠享受到它在視覺體驗上面帶來的巨大提升，每時每刻都可以體驗到60幀甚至120幀的影視內容，可以說是大大降低了體驗高幀率內容的門檻，讓那塊高刷新率屏幕物有所值。
毫無疑問，插幀技術走入手機是一件好事，因為好的技術需要被大範圍的推廣開來為普通用戶所知，才能成為真正優秀的技術。如果說之前的插幀技術是小眾玩物的話，那麼在手機廠商的推動下，它有望變成一項大眾技術，被更多人感知到，在視覺層面上提供更好的體驗，受益的，是每天都要用手機進行娛樂的我們。同時，插幀技術的流行也能夠讓更多內容創作者選擇製作原生高幀率的內容來滿足新時代用戶們的新需求。
