曉查 夏乙 發自 凹非寺量子位 出品 | 公眾號 QbitAI
這兩天,一項“看臉”審核計算機視覺論文的研究讓AI學者們一片紅紅火火恍恍惚惚。
不少人哈哈哈哈懷疑作者在搞笑,當然也有很多人嚴肅讀論文,辯論數據、結論的不合理之處。甚至有人說,研究揭示了論文評審中本就存在的人類偏見。
這項火遍國外AI界的論文,就是弗吉尼亞理工大學助理教授Jia-Bin Huang的Deep Paper Gestalt。
頂會領域主席的煩惱
Jia-Bin Huang(我們還是叫他黃老師吧)是計算機視覺頂會CVPR 2019和ICCV 2019的領域主席(Area Chair),當然深知學術會議投稿現狀。
要問現在學術界的主要矛盾是什麼?
那必須是:日益增長的論文投遞數量,和捉襟見肘的同行評審數量之間的矛盾。
所以評審們也是壓力山大啊,每天有那麼大的工作量。黃老師在論文一開頭就一本正經義正辭嚴地指出:這為目前的同行評審系統帶來了相當大的負擔。
谷歌研究員David Ha對此深表同情,他說:
不知道黃老師這項研究,是不是看著2019年的投稿情況,有感而發。
任性“醜拒”,誤判率僅0.4%
怎麼判別論文怎麼樣?CV行業的事情就讓CV工具來解決吧!
黃老師這項爆紅的研究,就是設計了一種分類器,根據論文的視覺外觀來預測會不會被接收。
要訓練算法識別一篇論文能不能中頂會,自然要用中了和沒中的論文來訓練它。
於是,黃老師收集了近5年的CVPR和ICCV主會和workshop論文。其中,主會論文自然是被接收的樣本,被拒的論文從哪來呢?在這項研究裡,這部分樣本用了workshop論文,因為“近似”。
這些論文都被轉成圖片,再去掉首頁的作者和標題。
然後,用ResNet-18分類網絡,使用好壞兩種輸出替換ImageNet的1000個分類。根據遷移學習學習,作者使用了隨機梯度下降(SGD)方法對訓練數據集上的ImageNet預訓練網絡進行微調。
實驗結果表明,文章提出的分類器可以安全地拒絕50%的不良論文,而錯誤地拒絕好論文的概率只有0.4%。
看似隨意的“醜拒”,誤判率低得驚人。這也嚇到了不少網友,他們各吐心聲,比如:
真是嚇到了根據排版樣式來評判一個想法也太膚淺了吧,歷史上有多少關鍵論文倒在了這一關?還有人聯想到了顏值之外的歧視:
如果你加上作者性別信息,你會發現,對於女性第一作者/最後一名作者也有偏見。雖說大多數聲音都在表示擔憂,但大家都對一個小彩蛋喜聞樂見:這個算法,把這篇論文自己,給斃掉了……
黃老師說,從熱力圖來看,算法主要是嫌棄這篇論文連8頁都沒寫滿。 於是就自殺了
他也指出,這個“自殺了”的研究有它的侷限性。
首先,這種方法只看論文顏值而不管內容。如果你寫的是一篇好文章,只是排版比較糟心,那麼很可能被“誤殺”。
其次,他用的都是CV行業大會的論文,評審的偏好會影響分類器最終的結果,所以如果你要投其他方向的論文,分類器篩選的結果也不可信。
好論文長什麼樣?
網友們吐槽之外,還提出了一個普遍關心的問題:究竟長什麼樣的論文才能中頂會?
這在論文中就有答案。
黃老師把前面數據集裡的主會論文餵給了GAN,做了一個優質論文生成器,讓GAN來生成論文版式。
上面這些,就都是算法自動生成的“好”論文樣式。它們通常靠前安排了說明性圖表,圖文並茂還是彩色的,文字、數學公式、表格、圖解分佈均衡。
傳送門
作者已經在GitHub上列出了這項研究的一大堆相關地址,包括論文、數據集、預訓練模型權重、潛在空間的可視化視頻等等。
地址在這裡:
https://github.com/vt-vl-lab/paper-gestalt
一篇論文的命運竟然和顏值息息相關,這事兒你怎麼看?
— 完 —
誠摯招聘
量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回覆“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
閱讀更多 量子位 的文章