機器之心報道
參與：李澤南、李亞洲
在 NIPS 2018 大會論文接收即將結束之時，一名本科剛剛畢業的學生成為大會論文同行評審的消息引起了人們的熱烈討論。以色列 Bar Ilan 大學的計算機科學高級講師 Yoav Goldberg（他曾在去年 6 月撰文批評過 arXiv 的不良風氣，並與 LeCun 論戰）對此評論道：「請搞清楚，這是『同行評議』，而不是找『評論過五個 TensorFlow 教程的人』。」
神經信息處理系統大會（Neural Information Processing Systems，NIPS）是人工智能和機器學習領域最重要的盛會。每年，來自計算機科學領域的各路專家和業界人士都會共聚一堂，共同討論和分享有關人工智能的前沿想法。而作為大會學術內容最重要的部分，會議論文是眾人關注的焦點。據悉，今年的 NIPS 大會將於 12 月 3 日至 8 日於加拿大蒙特利爾舉辦，而本次大會論文的提交 Deadline 是 5 月 18 日。
就在今天... 現在倒計時 17 個小時。
在大家奮力趕在時限之前提交論文的同時，機器之心注意到了社交網絡上一個有趣的帖子：
題目：NIPS 2018：如何寫好同行評議？
這篇帖子的題主如此寫道：
我剛剛收到了一封郵件，成為了 NIPS 2018 同行評議的一員，真是 EXCITING！
然而我只是一位剛剛畢業的本科生，即將在今年秋天開始讀碩士，所以說我從來沒有提交或者評審過這個大會的論文。
我該如何選擇論文來評審？我需要先從閱讀舊 NIPS 論文開始學習其中的規律嗎？最重要的是，如何寫好同行評議？
這是如何做到的？人們議論紛紛，有的人質疑其成為評審的真實性，有的人則是認真地提供自己的建議，試圖向作者傳授評議論文的經驗。
大家對此首先的反應當然是：「如果你從未向 NIPS 或者其他機器學習會議投過論文，那你就不應該去做同行評議審別人的論文。」
sharky6000 對此評論道：（這樣的學生）確實有可能成為評審。導師經常會要求他們的高年級學生去評議論文，以此作為一種練習，在這個過程中，導師也會教導學生如何去做，當然，這會幫助導師減輕負擔。當你拿到了 PhD 或者開始讀博士後時，你的主管或導師有時就會把你推薦到大會或雜誌作評審。另一方面，近年來各個大會的論文提交數量暴漲，讓評審壓力山大，因此組織者已開始要求他們的審稿人提名他們所認識的人來進行審稿，有時甚至會要求正在向大會提交論文的作者進行審稿。
... 為了確保審稿人的工作量不會爆炸，據我瞭解，其他的會議在過去幾年裡也不得不做這樣的事情（降低審稿人的標準）。有一年，ICLR 大會曾詢問過論文提交者是否願意幫忙審稿。
這樣的解釋看起來有一定的道理，不過仍然無法阻止人們驚呼：「這評審差異化有點過頭了吧？」
在 Twitter 上，這個帖子也引發了一些大牛的討論：
在此條 Twitter 留言下面，AAAI 前主席 Thomas G. Dietterich 教授、卡內基梅隆助理教授 Zachary Lipton、以色列 Bar Ilan 大學的計算機科學高級講師 Yoav Goldberg 等。
有研究者表示，這是一種諷刺，也有研究者建議在機器學習/深度學習夏季課程這樣的活動中也應該訓練學生的論文評審技能。
同行評審，一直是學術會議中比較惹人爭議的一個話題。例如，2017 年 ICLR 的匿名評審也曾引發爭議。當時，牛津大學、Google DeepMind 和加拿大高等研究院（CIFAR）的研究人員提出的 LipNet 論文出人意料地遭拒。
在機器學習火熱的今天，學術會議做好論文評審的標杆，也許會為媒體、非專業人員提供更好的參考。 
閱讀更多 坤艮機器之心 的文章
