本站教學視頻《成像算法基礎（python版）》 《成像系統鏡頭光學》《圖像質量測試測量與國際標準》《cmos sensor測試測量與國際標準》《數字成像系統》已上線淘寶
課程購買方法：淘寶搜索‘大話成像’可以找到本站教學視頻
大話成像技術論壇：www.dahuachengxiang.com
Google 的Super Res Zoom技術，主要用於在zoom時增強畫面細節以及提升在夜景下的效果。Google 在“Google pixel Handheld Multi-FrameSuper-Resolution”這篇論文中對原理做了詳細的介紹。
還是先上一張老圖：
圖1: 算法流程
之前的文章《Google Pixel4 相機解密(1)夜景》可以簡單概況為對上述流程中，通過更好的曝光策略和tone mapping 等提升夜景下的效果，而本篇則是對上述流程中的demosaic 步驟進行了增強，相對以前的效果提升如下圖，可以看出在高頻區域尤其是摩爾紋處得到了很好的改善：
圖2: 效果對比
首先說明Google 在文中介紹的超分並沒有採用深度學習的方法，而是採用了傳統做法。其原理也很簡單，一句話概括為：通過多幀來填補Bayer中缺少的圖像分量。sensor都是Bayer 格式，每個像素處只有一個色彩通道，其餘的色彩是通過插值得來，而插值的過程中就會產生摩爾紋等問題。
圖3: bayer 與插值
假設物體是不動的，我們每次分別每次移動1個像素，拍攝4次，豈不是就可以在每個像素位置處湊夠RGGB 像素值了呢，這樣我們無須插值就可以獲得一張從Bayer到RGB的圖像。
圖4：多幀方法獲得RGB採樣值
這種設計思想在Sony、賓得等單反相機上從2017 年就已經開始應用，技術名為：像素偏移多重拍攝（圖5）。
圖5
因為單反等擁有很強的硬件基礎可以精準控制位置的移動，手機上沒有這麼多硬件設備了，那手機怎麼來創造位移呢？Google假設並調研了人拍照時手抖的特點，發現了拍照時手抖就可以創造出足夠的亞像素位移來保證多幀圖像基本可以使每個像素位置都能拍攝到三個通道（圖6）。
圖6
運動估計在之前的計算中已經得到了解決（HDR+ 和夜景中都有講解），剩下的難點就變成了如何來融合多幀每個通道的像素了，其流程如下圖，無非就是參考噪聲模型、局部細節、運動向量等老生常談的特徵，剩餘內容就是對圖7公式的補充和解釋，建議感興趣的直接去看論文即可。
圖7
因為計算量和圖像尺寸以及幀數成線性，文中給出的計算速度是在高通Adreno 630 GPU平臺上的數據，15.4ms+7.8ms/MPixel，並不算特別快，這也是為什麼在GoogleBlog 裡面說“SuperRes Zoom可以在所有縮放係數下工作，不過由於性能原因，只在1.2倍以上激活”吧。
閱讀更多 大話成像 的文章
