憑“顏值”拒稿,誤判率僅0.4%!這篇論文讓AI科學家們炸了鍋

曉查 夏乙 發自 凹非寺量子位 出品 | 公眾號 QbitAI


憑“顏值”拒稿,誤判率僅0.4%!這篇論文讓AI科學家們炸了鍋

這兩天,一項“看臉”審核計算機視覺論文的研究讓AI學者們一片紅紅火火恍恍惚惚。

不少人哈哈哈哈懷疑作者在搞笑,當然也有很多人嚴肅讀論文,辯論數據、結論的不合理之處。甚至有人說,研究揭示了論文評審中本就存在的人類偏見。

憑“顏值”拒稿,誤判率僅0.4%!這篇論文讓AI科學家們炸了鍋

△ Jia-Bin Huang

這項火遍國外AI界的論文,就是弗吉尼亞理工大學助理教授Jia-Bin Huang的Deep Paper Gestalt

頂會領域主席的煩惱

Jia-Bin Huang(我們還是叫他黃老師吧)是計算機視覺頂會CVPR 2019和ICCV 2019的領域主席(Area Chair),當然深知學術會議投稿現狀。

要問現在學術界的主要矛盾是什麼?

那必須是:日益增長的論文投遞數量,和捉襟見肘的同行評審數量之間的矛盾。

憑“顏值”拒稿,誤判率僅0.4%!這篇論文讓AI科學家們炸了鍋

所以評審們也是壓力山大啊,每天有那麼大的工作量。黃老師在論文一開頭就一本正經義正辭嚴地指出:這為目前的同行評審系統帶來了相當大的負擔。

谷歌研究員David Ha對此深表同情,他說:


憑“顏值”拒稿,誤判率僅0.4%!這篇論文讓AI科學家們炸了鍋


今年CVPR就收到了5000多篇投稿,如果我是程序主席,要說沒想過訓練個鑑別器減輕評審工作量那肯定是在說謊。

不知道黃老師這項研究,是不是看著2019年的投稿情況,有感而發。

任性“醜拒”,誤判率僅0.4%

怎麼判別論文怎麼樣?CV行業的事情就讓CV工具來解決吧!

黃老師這項爆紅的研究,就是設計了一種分類器,根據論文的視覺外觀來預測會不會被接收。

要訓練算法識別一篇論文能不能中頂會,自然要用中了和沒中的論文來訓練它。

於是,黃老師收集了近5年的CVPR和ICCV主會和workshop論文。其中,主會論文自然是被接收的樣本,被拒的論文從哪來呢?在這項研究裡,這部分樣本用了workshop論文,因為“近似”。

這些論文都被轉成圖片,再去掉首頁的作者和標題。

然後,用ResNet-18分類網絡,使用好壞兩種輸出替換ImageNet的1000個分類。根據遷移學習學習,作者使用了隨機梯度下降(SGD)方法對訓練數據集上的ImageNet預訓練網絡進行微調。

憑“顏值”拒稿,誤判率僅0.4%!這篇論文讓AI科學家們炸了鍋


憑“顏值”拒稿,誤判率僅0.4%!這篇論文讓AI科學家們炸了鍋


實驗結果表明,文章提出的分類器可以安全地拒絕50%的不良論文,而錯誤地拒絕好論文的概率只有0.4%。

看似隨意的“醜拒”,誤判率低得驚人。這也嚇到了不少網友,他們各吐心聲,比如:

真是嚇到了根據排版樣式來評判一個想法也太膚淺了吧,歷史上有多少關鍵論文倒在了這一關?

還有人聯想到了顏值之外的歧視:

如果你加上作者性別信息,你會發現,對於女性第一作者/最後一名作者也有偏見。

雖說大多數聲音都在表示擔憂,但大家都對一個小彩蛋喜聞樂見:這個算法,把這篇論文自己,給斃掉了……


憑“顏值”拒稿,誤判率僅0.4%!這篇論文讓AI科學家們炸了鍋


黃老師說,從熱力圖來看,算法主要是嫌棄這篇論文連8頁都沒寫滿。 於是就自殺了

他也指出,這個“自殺了”的研究有它的侷限性。

首先,這種方法只看論文顏值而不管內容。如果你寫的是一篇好文章,只是排版比較糟心,那麼很可能被“誤殺”。

其次,他用的都是CV行業大會的論文,評審的偏好會影響分類器最終的結果,所以如果你要投其他方向的論文,分類器篩選的結果也不可信。

好論文長什麼樣?

網友們吐槽之外,還提出了一個普遍關心的問題:究竟長什麼樣的論文才能中頂會?

這在論文中就有答案。

黃老師把前面數據集裡的主會論文餵給了GAN,做了一個優質論文生成器,讓GAN來生成論文版式。


憑“顏值”拒稿,誤判率僅0.4%!這篇論文讓AI科學家們炸了鍋


上面這些,就都是算法自動生成的“好”論文樣式。它們通常靠前安排了說明性圖表,圖文並茂還是彩色的,文字、數學公式、表格、圖解分佈均衡。


憑“顏值”拒稿,誤判率僅0.4%!這篇論文讓AI科學家們炸了鍋


傳送門

作者已經在GitHub上列出了這項研究的一大堆相關地址,包括論文、數據集、預訓練模型權重、潛在空間的可視化視頻等等。

地址在這裡:

https://github.com/vt-vl-lab/paper-gestalt

一篇論文的命運竟然和顏值息息相關,這事兒你怎麼看?

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態


分享到:


相關文章: