本文為將門技術社群線上直播第175期的文字內容整理
分享嘉賓：阿卜杜拉國王科技大學博士生 李國豪
感謝整理人：Datafun社區
祝大家平安夜快樂
導讀
目前圖卷積神經網絡（GCN）的使用過程中的深度通常在3-4層，按對神經網絡的理解，隨著深度的加深，網絡參數增加，模型表達能力會增強，但是在圖卷積神經網絡，能否允許如普通卷積網絡（CNN）一樣加得很深，本次進行一些可能性的探索。
本文將圍繞下面幾點展開：
GCN簡介
GCN加深探索
實驗結果及結論
後續工作
▌GCN簡介
面對圖像、視頻、音頻、文本等數據的處理，常規的卷積網絡已經能夠較好的處理，並且目前也已經取得不錯的效果；為什麼我們還會需要GCN呢？主要原因是現實生活中，除了像圖像這種規整的網格結構數據外，還有圖結構而非成網格結構的數據，如社交網絡、論文引用網絡等。
為了能夠在這類非網格結構的數據上進行卷積操作，我們需要藉助GCN來完成處理。普通的CNN中的卷積操作和GCN中的卷積操作總體思路接近，只是具體處理過程中，由於數據結構的不同，處理有差異，如下圖所示。
總體來看，CNN的卷積過程和GCN的卷積操作本質上是實現逐層的信息傳遞，同時在傳遞的過程中，基於某些函數進行非線性變換進而完成信息的抽取和融合，如圖中描述。
▌GCN加深探索
不同於CNN常見結構，如ResNet、DenseNet等，通常層數達100至1000，甚至更深，並且驗證隨著CNN的深度加深，模型效果會有提升；目前對GCN的使用過程中，其中的神經網絡的深度通常都在3-4層。
同時，如下圖所示，如果調整網絡結構，加深GCN中神經網絡的層數，結果會導致模型不能收斂。
針對這種現象，目前通常認為有三個原因，如下圖所示。首先隨著網絡深度的加深，在樣本數據不充分的情況下，模型可能會過擬合；其次是認為GCN在網絡加深的過程中，會導致節點特徵值過度平滑而沒有區分度；最後一個是因為深度網絡容易出現梯度消失問題。
面對這種情況，是否有一種方法能夠加深GCN網絡結構，同時確保模型收斂呢？對此以下進行了一些探索。
如圖所示，設定普通的加深的GCN模型作為基線模型，稱其為PlainGCN。首先，參考殘差網絡ResNet的結構，一般的神經網絡中，基於殘差的網絡可以在網絡層加深的情況下避免梯度的消失，所以在GCN中引入殘差模塊，構建ResGCN網絡。
其次，參考稠密網絡DenseNet的結構，將輸入部分和輸出部分已Concat的方式組合在一起，以確保梯度可以回傳，具體結構如下圖所示。
最後，如圖所示，借鑑空洞卷積網絡的思路，在GCN中採用skip-neighbor的方式，確保空洞卷積可以執行，進而達到和更大的鄰域做卷積，進而使得模型保持較大的卷積感受野。
綜合上述三點，最終設計可以加深層數的GCN框架，如下圖所示主要有三部分構成：第一部分是執行GCN邏輯的骨架，第二部分負責特徵的融合，其中包括了ResGCN和DenseGCN的特徵處理邏輯，第三部分基於MLP實現將融合的特徵分割成不同的類別；整體模型的是端到端方式完成訓練。
▌實驗結果
在實驗中使用的是28層的ResGCN。如圖所示，從和其它模型的對比結果看，經過改造的ResGCN在模型不斷加深的情況下可以取得較好的結果。
同時，不同層數下，所帶來的收益。加深與不加深的GCN二者之間的gap隨著層數不斷加深而逐漸變大，進一步說明加深可以取得較好的收益，並且普通的GCN隨著層數不斷加深，模型甚至會發散不再收斂。
▌實驗結論
從實驗結果看，通過在GCN中加入skip-connection，可以使得在加深GCN中網絡的深度的時候模型訓練變得容易一些。並且在GCN中加入空洞卷積，使得其具有更好的感受野，模型獲得更多收益，總結如下：
▌後續工作
在實驗中只是組合了CNN的殘差網絡、稠密網絡和空洞網絡的思路，構建能夠加深的GCN框架，後續的工作中可以借鑑更多的CNN相關的優化思路，如pooling、normalization以及特徵融合方式等。
除此之外，在構建的GCN框架中，計算k-nn的時候，使用的距離計算方式是L2距離，後續可以考慮其他距離計算方式；同時需要進一步探索是否有更好的控制卷積核大小的方法以及設置空洞卷積率的方法。
▌一些工具
實驗開發過程中使用的一些GCN相關的工具，列表如下可以參考使用：
關於我門
▼
將門是一家以專注於發掘、加速及投資技術驅動型創業公司的新型創投機構，旗下涵蓋將門創新服務、將門技術社群以及將門創投基金。將門成立於2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬構建而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。
將門創新服務專注於使創新的技術落地於真正的應用場景，激活和實現全新的商業價值，服務於行業領先企業和技術創新型創業公司。
將門技術社群專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容，使創新成為持續的核心競爭力。
將門創投基金 專注於投資通過技術創新激活商業場景，實現商業價值的初創企業，關注技術領域包括機器智能、物聯網、自然人機交互、企業計算。在近四年的時間裡，將門創投基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數科技、迪英加科技等數十傢俱有高成長潛力的技術型創業公司。
如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務，歡迎發送或者推薦項目給我“門”: bp@thejiangmen.com
閱讀更多 將門創投 的文章
