深度學習不要乘法?今晚北大、華為CVPR Oral論文分享不容錯過

作為計算機視覺領域的三大國際頂會之一,CVPR 每年都會吸引全球領域眾多專業人士參與。如 2019 年,CVPR 註冊參會人數高達 9227 人,突破歷屆記錄。其中,來自國內的參會人數就達到 1044 位,僅次於大會舉辦地美國(4743 位)。

CVPR 2020 原定於 6 月 16 日至 20 日在華盛頓州西雅圖的華盛頓州會議中心舉行,但是當前全球疫情勢態嚴峻,越來越多的 AI 頂會開始轉向線上,CVPR 也不例外。

雖然無法去現場交流,但這無法阻擋我們學習的熱情。

為向讀者們分享更多 CVPR 優質內容,在 CVPR 2020 開幕之前,機器之心將策劃多期線上分享。這是機器之心 CVPR 2020 線上分享的第一期,我們邀請到北京大學智能科學系陳漢亭(論文一作)為我們介紹他們的 Oral 論文《AdderNet: Do We Really Need Multiplications in Deep Learning?》。在此論文中,來自北大、華為諾亞方舟實驗室等機構的作者們提出完全用加法代替乘法,用 L1 距離代替卷積運算,從而顯著減少計算力消耗。

深度學習不要乘法?今晚北大、華為CVPR Oral論文分享不容錯過

演講主題:加法神經網絡:在深度學習中我們是否真的需要乘法?

簡介:陳漢亭,北京大學智能科學系碩博連讀三年級在讀,同濟大學學士,師從北京大學許超教授,研究興趣主要包括計算機視覺、機器學習和深度學習。在 ICCV,AAAI,CVPR 等會議發表論文數篇,目前主要研究方向為神經網絡模型小型化。

摘要:和廉價的加法操作相比,乘法操作需要更大的計算量。在深度神經網絡中廣泛應用的卷積計算了輸入特徵和卷積核的互相關,其中包含著大量乘法操作。我們提出了一種加法神經網絡來將 CNN 中的大量乘法操作用加法來代替。具體的,我們將輸出特徵使用濾波器和輸入特徵的 L1 距離來度量。通過細緻的分析,我們提出了基於全精度梯度的反向傳播和自適應學習率來幫助加法神經網絡的訓練。實驗結果表明,我們提出的加法神經網絡能夠取得和卷積神經網絡近似的準確率,並且在卷積層中不含任何乘法。

論文地址:https://arxiv.org/pdf/1912.13200.pdf

Github 代碼地址:https://github.com/huawei-noah/AdderNet

時間:北京時間 4 月 22 日 20:00

CVPR 2020 機器之心線上分享

在 CVPR 2020 收錄的大量優秀論文中,我們將選出數篇優質論文,邀請論文作者來做線上分享。整場分享包括兩個部分:論文解讀和互動答疑。

線上分享將在「CVPR 2020 交流群」中進行,加群方式:添加機器之心小助手(syncedai6),備註「CVPR」,邀請入群。入群后將會公佈直播鏈接。


分享到:


相關文章: