天下苦「假照」久矣
來源 | 雷鋒網（id：leiphone-sz）
作者 | 黃善清
天下苦「假照」久矣，作為世上聞名的「亞洲四大邪術」之一，中國 PS 術讓人人皆可化身大片主人翁，與此同時也給現代社會帶來了不少的困惑與恐慌——如今網上充斥大量的「移花接木」虛假內容，正衝擊著數字媒體在普羅大眾心中的信任感。鑑於此，Adobe 公司的研究員與自加州大學伯克利分校的科學家合作開發出了一款可用於識別 PS 軟件「液化」效果的工具。
PS 軟件的「液化」工具究竟有什麼樣神奇的魔力呢？雷鋒網 AI 科技評論給大家從網上找來一個教學樣板：
原來的照片
該照片被導入 PS 軟件後，經歷了一系列「向前變形」、「擦漏光」、「縮小」等「液化」工程後，最終生成的效果圖如下：
是否很難相信這是同一個人？
近期很流行的老照片修復工作，雖然有人表示林徽因被整出了一張「網紅臉」……
為了破除這種由 PS「液化」工具製造出來的「幻術」，Adobe 與伯克利研究團隊訓練了一種可用於識別人像變化的卷積神經網絡 (CNN)。簡單來說，這個工具最終要能回答以下三個問題：
- 我們能否創造出一款比人工識別更可靠的人像識別工具?
- 該工具是否能識別出人像具體經歷了哪些更改?
- 我們可以撤消這些更改以恢復人像原本的模樣嗎?
最終識別準確率高達 99%！
具體研發流程上，研究人員先編寫了一個軟件腳本，對網上搜集來的數千張圖片實施「液化」功能，由此創建一個廣泛的圖像訓練集。接著一個子集被隨機選中用於網絡訓練。為了進一步考驗工具對於人工修整的識別能力，團隊還專門請來一名人類藝術家對那些混合在數據集裡的圖像進行調整。
左邊是從 Flickr（頂部）以及 Open Images（底部）中抓取的真實圖片；右邊則是通過 PS 軟件的「液化」工具隨機自動創建的變形人像。我們可以看到，兩者之間相差甚微。
研究團隊在該數據集上對全局 & 局部變形預測網絡進行訓練，以局部預測網絡為例，團隊使用包括 flow warping prediction、relative warp preservation 和 pixel-wise reconstruction loss 等系列損失函數在內的訓練組合。最終，團隊給我們展示了部分應用程序，包括能夠有效識別出人像調整區域的可視化覆蓋工具，以及能夠對調整區域進行「消解」，進而取得接近原始人像效果的復原工具。
簡單總結：
左一是「液化」過的圖；
左二是通過工具識別出經過「液化」的區域；
左三是工具提供的「復原」建議；
最右是經過「復原」的「真面目」
最終的實驗結果顯示，人工識別的準確率只有 53%，而他們研發出的工具則可以達到 99% 的識別準確率！
總習慣發照前 P 個圖的你們，顫抖吧！
工作原理
這個工具背後涉及到的其實是被稱作「圖像取證」或「偽造檢測」的技術，這部分內容在當今的計算機視覺領域變得日益重要。
在過去，已經有不少研究人員提出各種各樣檢測人像篡改情況的的取證方式，比如通過自定義線索的方式來檢測圖像，最典型如通過發現像素之間的週期相關性（自定義內容）來檢測重採樣偽影，然而這類型交互式編輯工具的操作上很複雜，且難以建模，所以並未在本次工作中被採用，團隊最終選擇基於大量數據訓練來習得相關能力；針對缺乏標註數據的問題，學界則提出各種自我監督式的訓練方式，基於自動生成的假圖像進行訓練。
而為了讓機器具備甄別真假的能力，團隊在本次工作中使用 ResNet50 訓練出了一個二進制分類器，為 ImageNet 分類進行預訓練，並根據任務需要進行微調。為了讓機器進一步具備「還原」能力，團隊首先預測一個光流場
，預測路徑從原始圖像
至篡改圖像 X，然後再用它來嘗試「反向」恢復原始圖像。
最後，一起來看看工具的強大能力吧：
然而這已經不是 PS 第一次砸自家招牌
就在去年，同樣是來自 Adobe 公司的研究員在 CVPR 上發表一篇圖像篡改檢測的相關論文（Learning Rich Features for Image Manipulation Detection），這篇工作的核心內容是讓機器具備識別以下這 3 種圖像篡改手段的能力：
- 拼接——把別張圖的物體拼接到另一張圖上。
- 複製 - 移動——對一張圖上的部分區域進行拷貝，然後放到圖中的其它地方。
- 移除——將圖像中的部分元素進行移除。
換句話說，相較於「液化」這種隱晦的調整形態，當時 Adobe 試圖解決的還是比較粗線條的圖像竄改情況。
在這篇論文中，PS 研究團隊提出一個名為「雙流 Faster R-CNN 網絡」的解決方法：
橘黃色的箭頭連起來的是 RGB 流，藍色的箭頭連起來的是噪聲流。每個單獨的流其實都是一個 Faster R-CNN。
最終取得的識別成果如下：
該方法相較於其他 Baseline，如 ELA，NOI1 和 CFA1，識別圖像竄改的能力也更加突出。
網友對此反應
這個技術發佈後，在微博上引起了網友們的熱烈討論，有人認為這款工具並“不討喜”：
同時底下很快聚集起了一幫吃瓜群眾：
也有人在為自己的終身大事發愁：
還有網友發出了靈魂一問：
不過大家也許無需如此擔心，據雷鋒網AI 科技評論瞭解，這個一鍵復原照片至 PS 前原貌的技術，距離工具化尚有一段距離。
Adobe 研究員 Richard Zhang 在 Adobe 官方博客上明確表示，「想法離現實還很遠」，他們會「進一步探索這個領域的研究」。Adobe 科研主管 Gavin Miller 也表示，這個工作是為了識別與阻止美圖技術的濫用，「圖像取證的旅程才剛剛開始」。
閱讀更多 哈文說科技 的文章
