01.31 「專利解密」騰訊超火的“AI換臉技術“大揭祕

【嘉德點評】騰訊的換臉技術通過人工智能提取圖像特徵進行編碼,在對圖像進行解碼還原成新的圖像,進行圖像的人臉更換技術。

集微網消息,朋友圈中出現了大量的AI換臉小視頻。這些小視頻大多來自眾多影視劇或者電影作品,用戶則可以把自己的臉通過人工智能的識別換到影視明星的身上。我們也瞭解到,這一AI換臉工具是一款名為“ZAO-逢臉造戲”APP,軟件的slogan為“僅需一張照片,出演天下好戲”。

「專利解密」騰訊超火的“AI換臉技術“大揭秘

事實上,“ZAO-逢臉造戲”此次採用的並非新技術,而是在海外早已開源的AI換臉技術。2017年的時候,AI換臉技術最早出現在海外知名論壇Reddit上,一位ID名為“deepfakes”將眾多逼真的換臉視頻上傳到網上。

在電影特效和互聯網社交等應用中,存在保持原始圖像(例如圖片或者視頻幀)中人物的臉部(也稱為待替換臉部)的風格的情況下,將待替換臉部替換為其他人物的臉部(也稱為目標臉部)的需求。為此,人工智能技術提供了訓練適當的圖像處理模型來支持上述應用的方案。

今天帶來的就是騰訊的一項相關專利,而從這項專利中,我們也可以窺見些許該技術的實現原理以及方法。就在今年19年3月25日,騰訊申請了一項名為“圖像處理模型的訓練方法、圖像處理方法、裝置及存儲介質”的發明專利(申請號:201910228962.5),申請人為騰訊科技(深圳)有限公司。

根據目前公開的專利資料,讓我們一起來看看這項人臉替換方法吧。

「專利解密」騰訊超火的“AI換臉技術“大揭秘

如上圖所示為圖像處理模型進行換臉的原理示意圖。其中包括人臉定位和人臉轉換兩大步驟,即可將原始圖像中的人臉替換成為特定的人臉圖像。

原始圖像,也稱為原始臉部圖像包括待替換臉部的圖像,例如圖片或者視頻的幀圖像。目標圖像,也稱為目標臉部圖像包括用於替換“ 待替換臉部”的圖像,例如圖片或者視頻中的幀圖像。

其中有兩個很重要的關建點,就是編碼器和解碼器。編碼器,用於從原始圖像中待替換臉部進行特徵降維(即降低特徵的維度,也稱為編碼或特徵提取)的模型,輸出用於表示待替換臉部的風格的特徵。解碼器,與目標臉部一一對應的模型,用於從輸入到解碼器的風格特徵還原(也稱為解碼或重構)具有相應風格特徵的目標臉部的圖像。

當編碼器和解碼器被訓練完成後,編碼器從原始圖像的待替換人臉中提取風格特徵(也就是對待替換人臉進行編碼),風格特徵被輸入解碼器進行解碼,這個解碼的過程是一種人臉轉換,形成新的換臉圖像中包括目標人臉的五官和待替換人臉的風格,例如表情及神態。

以上就是對於換臉技術的原理性說明,下面我們再根據使用場景來介紹。

「專利解密」騰訊超火的“AI換臉技術“大揭秘

如上圖為圖像處理模型的訓練方法和應用方法的使用場景示意圖。這裡的圖像處理模型的訓練裝置可以是服務器,圖像處理裝置可以是運行各種客戶端的終端,兩者通過網絡連接,使用無線鏈路實現數據傳輸。

圖像處理裝置提交針對不同目標臉部的訓練任務,由訓練裝置訓練相應的圖像處理模型,並下發圖像處理模型的參數到訓練裝置。訓練裝置根據提交的訓練任務進行訓練,再將數據傳遞迴圖像處理裝置,生成圖像處理模型,從而完成模塊的人臉替換。

以上就是人臉替換的方法原理,藉助人工智能技術,竟然可以完成這麼酷炫的事情。但是,隱私問題不可小覷,好玩與可怕只在一線之間,儘管這次的“ZAO-逢臉造戲”對於換臉的素材進行了各種限制,但是如果過這種技術真正想要高度商業化的話,那麼隱私問題是一件沒法繞開的事情。我們也希望人們能夠重視這方面的問題,讓技術合法化,正真做到對人們的生活有所幫助,而不是被不法分子加以利用!(校對/holly)


分享到:


相關文章: