本圖片由AI換臉技術合成
作者 | 金璵璠 蘇琦
編輯 | 魏佳
封圖 | 來源於Bilibili Up主AI王子
來源 | 燃財經（ID:rancaijing）
“科技改變追星生活。”
近日，B站上出現了多個鹿晗AI換臉的視頻，因為換臉後的人臉輪廓、表情非常自然，加上鹿晗本人顏值出挑，很多網友自稱成了鹿晗的AI粉。
B站截圖
這些視頻多由UP主製作並上傳，時長約2-4分鐘左右。
與此同時，日前同樣因為AI換臉被推上熱搜的古裝網劇《三千鴉殺》迎來大結局。劇中被換臉的角色“青青”就沒這麼幸運了，不但沒有AI粉，自開播以來就因“技術太差”被網民“群嘲”是車禍現場，“五分錢換臉”“畫面有點詭異”“一個人毀了整部劇”等評論充斥在彈幕和微博評論中。
《三千鴉殺》中的AI換臉效果呈現
片方換臉的原因是，劇中“青青”一角的飾演者劉露因大鬧公共場所被拘留，如今替代劉露飾演青青一角的演員是張鼎鼎。但呈現出的效果差強人意，角色換臉後的五官明顯大於常人，表情生硬，臉部邊緣還出現了模糊、扭曲的情況。
“片方想要挽回‘劣跡藝人’造成的損失可以理解，但是處理方式過於低劣。如果選擇AI換臉，至少也要達到之前B站up主‘換臉哥’混剪的效果，結果呈現出來的是美圖秀秀的水平，面部扭曲、表情生硬、脖子和頭顏色完全分離。”在影視行業工作6年的陳傾對燃財經表示。
AI換臉並不是首次應用在國產影視劇中，2019年播出的《封神演義》《光榮時代》《長安十二時辰》以及剛剛完結的《時光與你都很甜》中，都使用了該技術，但效果不盡如人意。
簡單來說，這是一種先通過視頻/圖片採集一位演員的面部表情，再通過轉換編碼給另一位演員“換臉”的技術。此前這項技術進入公眾視野，是2019年B站up主“換臉哥”將94版《射鵰英雄傳》中朱茵的臉替換成楊冪，以及陌陌旗下的ZAO App在朋友圈掀起的“換臉”風潮。
多位業內人士對燃財經表示，《三千鴉殺》中的換臉效果的確不太理想，但背後不是隻有技術原因這麼簡單。這次影視劇中被“群嘲”的AI換臉操作與ZAO相比，為何效果不佳？AI換臉成本如何？自娛自樂效果尚可，一商用就“露怯”，這項技術是否真的有應用市場？
要點速覽：
• 《三千鴉殺》背後的換臉團隊應該是在DeepFake開源算法的基礎上做了一些優化，但在表情和動作，尤其是臉部邊緣處理上存在一些問題，所以用戶覺得效果僵硬；
• ZAO是開卷考試，所有題目都已經做過，爛熟於胸；而影視劇中的AI換臉屬於閉卷考，做的題目都是沒學過的，只是利用原來學過的一些知識和經驗去重做一遍，效果差距自然很大；
• 目前市場上AI換臉的價格大概是1.5萬元/分鐘，手動換臉的價格在十幾萬元/分鐘，即便是簡單的內容，最低市場報價也要在5-6萬元/分鐘；
• 很少有公司單做AI換臉這一項業務，因為研發成本沒有其他的落地項目來攤銷，盈利很難。
被群嘲的AI換臉術比不過ZAO？
AI換臉技術最早出現在2017年，也被叫做“深度偽造技術”(DeepFake)，簡單來說，就是通過人工智能深度學習技術將視頻中出現的人臉替換成另一張臉。這一技術的鼻祖是一位名叫“DeepFake”的開發者。同年，他將這項技術開源，他的名字也就成了AI換臉技術的統稱。
智能互動視頻播放器技術平臺極鏈科技Video++聯合創始人董慧智告訴燃財經，DeepFake這套算法的弱點就在於，臉部邊緣的處理，尤其是在較為誇張的臉部表情處理上，還沒有做過深度處理，因此每家公司在實際使用中都要自己做一些優化處理。
他從《三千鴉殺》的換臉效果判斷，“背後的換臉團隊應該是在DeepFake開源算法的基礎上做了一些優化，只是優化得不是特別好，在表情和動作，尤其是臉部邊緣處理上還是存在一些問題，因此從用戶角度來看效果確實比較僵硬”。
《三千鴉殺》因角色AI換臉在微博被“群嘲”
此次AI換臉的效果，也被眾多用戶拿來與曾經火爆一時的換臉工具ZAO進行對比。
2019年8月30日，“僅需一張照片，出演天下好戲”的ZAO App上線，它也是基於DeepFake算法演變出的產品之一。
ZAO App的功能介紹
在瑞萊智慧RealAI產品負責人唐家渝看來，“其實ZAO的大部分視頻臉部邊緣處理得也不是很好，估計是它的建模過程學習到的特徵也不是特別好。”
ZAO的效果雖然看起來略好一些，但也不代表技術一定更優，因為兩者使用場景不同，難度不同。
“AI技術的核心在於訓練的過程，訓練後的模型應用於同一領域，很多算法的準確度可以接近100%，這是AI有優勢的地方；但缺點是與人類相比，AI的聯想能力較弱，沒有訓練過的內容幾乎不會。”董慧智說。
眾所周知，ZAO裡可供用戶換臉的影視劇片段是特定場景，也就是說，技術難度相對較小。董慧智分析，ZAO背後需要訓練的時間比較長，需要選定視頻庫中的片段，對其中男女主角的臉部進行長時間的學習和訓練，不斷調參，經過線下預處理再上線，用戶的使用效果自然不錯。
而影視劇中的臨時換臉難度更大，需要在短時間內，對一個未經訓練的影視劇進行AI批量換臉。董慧智對燃財經表示，AI分訓練和推理兩個階段，前期訓練的過程很長，可能要一到兩週甚至幾個月，而一次推理過程也就是幾百毫秒。因此一般情況下，提供技術的AI公司受限於成本和時間要求，只能用有限的樣本來訓練模型，推理時卻面對的是海量多樣化的視頻，效果不是特別理想。
在董慧智看來，兩者難度的差異相當於，ZAO是開卷考試，所有題目都已經做過，爛熟於胸；而影視劇中的AI換臉屬於閉卷考，做的題目都是沒學過的，只是利用原來學過的一些知識和經驗去重做一遍，效果差距自然很大。
AI換臉的真實水平與成本難題
據唐家渝介紹，影視劇AI換臉的效果與劇中人物的角度正面與否、光照條件有直接關係。也就是說，如果採用比較前沿的算法，上述兩個條件較好的情況下，數據採集充分，最終建模的效果會比較好，肉眼基本難以分辨，除非場景的複雜度較高，比如臉部被一片樹葉遮擋，這就需要後期的人工修復了。
“我看劇(《三千鴉殺》)中有的片段，人物都是相對正面的角度，光線看起來也還不錯，在這樣的情況下，換臉面部依舊沒有貼合，說明技術確實一般。”唐家渝說。
那我們看到的B站up主“換臉哥”以及“AI鹿晗”的作品，還有很多好萊塢作品為何能夠以假亂真呢？
“有點炫技的意思。”董慧智認為B站up主“換臉哥”的作品（將94版《射鵰英雄傳》中朱茵的臉替換成楊冪），應該是經過後期人工處理的，效仿好萊塢一些特效軟件，人工干預、時間長、造價高。
94版《射鵰英雄傳》中朱茵的臉替換成楊冪
那麼，AI公司如果接到影視劇換臉的任務後進行重新訓練和應用是否可以？答案是可以，但要保證訓練的速度足夠快。“這樣做很不經濟，相當於每造一幢小房子，就要請國際頂尖設計師來設計一遍，造價太高了。”董慧智補充道。
在好萊塢電影史上，“換臉”技術早就被廣泛應用於影視劇中，甚至創造出一個虛擬的真人出來，當然造價也是高得驚人。
最具代表性的要數2015年的《速度與激情7》，直接讓去世的主演保羅·沃克“復活”了。據此前外媒報道，只用CGI（計算機合成圖像）技術一項，就將這部電影的製作成本從原計劃的2億美金提升至了2.5億美金。
2019年上映的電影《雙子殺手》更是將CGI技術向前推了一步，創造出一個減齡至23歲的威爾·史密斯，與真人版51歲的威爾·史密斯進行近身搏鬥。
這不是單純的對男主角威爾·史密斯進行面部“減齡”，而是從肌膚、骨骼、眼睛、牙齒光澤各個方面進行再造。
《雙子殺手》中真假威爾·史密斯近身搏鬥的場景
要實現這樣的效果，首先需要數據準備，通過傳感器收集演員不同的臉部姿態、角度、表情以及光照的臉部圖像，其次需要進行專門的數據處理，通過電腦進行數字維度上的轉換，最後依照計算機系統對人臉表情變化的特徵點，在虛擬形象上重構。當然，在製作部門建模的時候參考了大量威爾·史密斯年輕時拍過的電影畫面。
這一場真假威爾·史密斯的近身搏鬥，只有4分鐘的戲份，卻需要後期團隊花九個月的時間調整和完善，難度之大、成本之高可想而知
。據說光是這個CGI人物的製作費用就是威爾·史密斯片酬的2倍。在成本方面，此前有媒體報道，目前市場上AI換臉的價格大概是1.5萬元/分鐘，手動換臉的價格在十幾萬元/分鐘，即便是簡單的內容，最低市場報價也要在5-6萬元/分鐘。
唐家渝從不同角度拆分AI換臉的成本，一方面是算力的成本，需要有高性能、一定數量的GPU，硬件的價格比較高；另一方面是拍攝、收集各種照片以及建模的成本；此外，事後處理一些遮擋情況也需要一定的人工成本。
手動P圖換臉的成本自然更高。“如果我現在是影視製作方，演員出了問題，我肯定不會找手動換臉。1秒的畫面一般有23-30幀，每一幀都要手動換，成本太高了。”唐家渝表示。
也就是說，目前國內影視行業一旦遇到需要替換演員的突發情況，AI換臉相比手動換臉，是成本可控的挽救方式。
AI換臉商業化前景幾何？
《三千鴉殺》中的AI換臉效果呈現
據娛樂資本論矩陣號河豚影視檔案報道，《三千鴉殺》背後的AI換臉技術提供方，是一家受到資本市場認可，估值已達幾十億元的公司，但並不主營影視類項目，因此也不擅長做影視劇中的AI換臉。
“很少有公司單做AI換臉這一項，盈利很難，因為研發成本沒有其他的落地項目來攤銷。”董慧智告訴燃財經，“拖後腿”的因素，除了成本、技術成熟度之外，還有供需雙方對AI換臉技術的理解、預期相差較大。
“不光用戶，包括影視劇的製作方、導演，對AI換臉技術都沒有那麼瞭解，他們因為覺得‘既然ZAO都做得那麼好了’，而對影視劇換臉的期望值過高。”他認為這也是制約行業發展的很重要的因素。
但總得來說，董慧智介紹，AI換臉技術在行業中主要有兩大商業化模式。
一種是向大的視頻平臺和製作方輸出技術，類似於定製開發，收取的是授權費+維護費，這種方式成本高，定價也高，一般都是百萬量級；另一種是按單次需求的工作量（要換多少張臉，一共多少秒）收費，一般是影視劇製作方提出換臉需求，技術公司去實現。
具體到極鏈科技Video++，董慧智透露，“AI換臉”只是公司數十款產品中的一個，如此一來，80%的研發成本是共用的，邊際成本也就更低。
而想要擴大商業化範圍，隱私問題是一個繞不開的話題。先前紅極一時的ZAO，就是用戶因上傳的照片無法撤掉而擔憂信息洩露、遭遇詐騙等問題，紛紛棄用。
與ZAO類似，極鏈科技Video++的商業化方向之一是面向C端用戶的技術解決方案，即讓用戶上傳自己照片，和自己的idol演對手戲。董慧智對燃財經透露，這一方面可以與影視劇的播放平臺直接合作，也可以鏈接大平臺的粉絲社區，未來有一定的商業價值，當然，也會吸取ZAO的前車之鑑。“ZAO最大的問題是把臉部圖像保存下來，才有了隱私侵權問題，我們會注意避免這個問題。”
除此之外，極鏈科技Video++還有兩個商業化方向是，用人臉做emoji表情以及對短視頻/直播中人物的再創作。
後者應用需求在B站伴隨同人創作而崛起，一般而言，是將短視頻/直播中的人物替換成動漫臉、GIF表情包等。這一方向還在2018年的國內掀起了一股“虛擬主播”的熱潮，因為媒體、教育、醫療、娛樂、客服等多個領域和場景，無一不適用，於是搜狗、科大訊飛、鬥魚等大公司都進場試水。
此次疫情期間應用的AI主播
唐家渝提供了另一個商用方向。
眾所周知，DeepFake的開源降低了AI換臉的技術門檻，但與之相應的黑產也快速生長，各種換臉情色視頻和軟件教程層出不窮，在國內已經形成了一個上游提供軟件及技術、中游提供視頻、照片定製、下游售賣成品視頻，甚至有的商家做的是全產業鏈的生意。
越來越多的人開始抵制AI換臉，其風險在於經過AI換臉的合成照片、合成視頻是人類僅憑肉眼無法識別的，部分甚至無法通過單一技術模型鑑別，很容易被當作真實信息進行再次傳播。因為除了DeepFake，最常使用的AI換臉算法還有FaceSwap和Face2Face，不同算法生成的結果千差萬別。
那麼“反黑”，也就是通過使用鑑別器算法來打假，就是個不錯的商業化方向。國外最負盛名的是一家總部位於阿姆斯特丹的創業公司Deeptrace，在國內，RealAI是最早涉及這一領域的公司，去年底正式上線了針對Deepfake的深度偽造視頻檢測工具。目前，RealAI已經在金融行業做出反欺詐的解決方案，主要應用於信貸風控領域。
總體來說，影視行業是目前AI換臉技術更容易落地的場景，但眼下需求有限。隨著機器學習算法的快速學習與進化，AI換臉相關從業者要做的是，在燒錢的電影特效和人人取之可用的入門級App之間，尋找性價比和安全性最高的商用領地。
*題圖來源於Bilibili Up主AI王子。應受訪者要求，文中陳傾為化名。
☞從 Nginx 到 Pandownload，程序員如何避免面向監獄編程？
☞新iPhone SE賣3299元起，香不香？
☞IntelliJ IDEA 2020.1正式發佈，15項重大特性、官方支持中文了！|原力計劃
☞企業打造自己的數據中臺，需要的是一套硅谷方法論（文末有福利！）
☞只會高中數學運算就能發現算法？Google開源的AutoML-Zero有多厲害
☞Spring Cloud 雲架構下的微服務架構：部門微服務（Dept）
☞從Spring Cloud到Service Mesh，微服務架構治理體系如何演進？
