大數據文摘出品
編譯：睡不著的iris、Zhifu、Hope、CoolBoy
當你閱讀了深度學習相關的書籍或者上過精彩的在線課程後，你將如何深入學習？如何才能夠“自力更生”，獨立地去了解相關領域中最新的研究進展？本文作者Nityesh Agarwal，畢業於賈達普大學，在學校裡學習過信息技術，現在作為志願者為開源社區做貢獻。以下是作者第一人稱給出的建議。
事先聲明——我不是深度學習方面的專家。我也是最近才開始閱讀研究論文的。本文將會介紹我自己在開始閱讀文獻的時候積累的一些經驗。
意義所在
曾經有人在Quora上提問，如何才能鑑定一個人是否有資格從事機器學習工作。谷歌大腦創始人之一、百度人工智能小組前負責人吳恩達（Andrew Ng）如是說：任何人都有資格。當你上過一些機器學習相關的課程後，想要更進一步時，可以閱讀一些研究論文。最好能做到重現論文中的方法，得到相似的結果。
OpenAI研究者達里奧·阿莫迪（Dario Amodei）對這個問題的回答是：“為了驗證你是否適合在人工智能安全或者機器學習領域工作，請快速嘗試使用各種模型。在近期的一篇論文中找到一個機器學習模型，運用這個模型，並嘗試讓它快速運行起來。”
這些都說明閱讀研究論文對於進一步理解該領域至關重要。
在深度學習領域，每個月都會有數百篇論文被髮表。如果要做到認真地學習，僅憑藉學習教程或者上課是遠遠不夠的。在你讀文章的時候，新的突破性研究正在進行中。深度學習領域的研究正以前所未有的迅猛速度發展著。只有養成良好習慣，持續閱讀科研文獻，才能跟上節奏。
本文中，我會教大家如何獨立閱讀一篇論文，並提供一些切實可行的建議。然後，在文末我會帶大家破解一篇真實的科研論文，讓大家能夠進行實踐。
方法建議
首先，閱讀科研論文很難。事實上——“沒有什麼事情比閱讀科研論文更令你感到愚蠢了。”
我這麼說是為了讓你在讀文章百思不得其解的時候，不要感到氣餒。開始讀了好幾遍的時候，可能你還是不能夠理解文章的意思。沒事，請堅持下去，再讀一次！
現在，我們介紹一些有助於文獻閱讀的寶貴資源。
arXiv.org
這是在互聯網上大家發表文章的一個地方，充滿了一些尚未在知名期刊正式發表的文章（這些文章也可能永遠無法正式發表）
他們為什麼要這麼做？
事實證明，做研究和寫文章並不是科研的全部！將論文提交併發表在某些科學期刊上是一個相當漫長的過程。一旦論文被提交至某個期刊，就會進入非常緩慢的同行評審過程（有些甚至需要多年的時間！）。當下，對於機器學習這些快速發展的領域，這種速度真是讓人無法忍受。
這就是arXiv出現的意義！！！
研究人員將他們的論文發表在arXiv這樣的預印庫上，以便快速發佈他們的研究並獲得及時的反饋。
Arxiv Sanity Preserver
研究人員能夠便捷地提前發表研究論文是好事情，但是對於讀者來說呢？當你打開arXiv的網站，很容易感到害怕、渺小和迷茫，認為這絕對不是新手該來的地方（僅個人觀點，但非常歡迎你使用它☺）。
輸入Arxiv Sanity Preserver。
這是由特斯拉的人工智能部門主管Andrej Karpathy創建，他是我個人非常喜歡的AI大神。
Arxiv Santiy在arXiv的作用與Twitter的信息流在Twitter的作用相似（不過Arxiv Sanity是完全開源的，而且沒有任何廣告）。從浩如煙海的微型博客中， Twitter的信息流會根據個人喜好為你推送有趣的微型博客。
Arxiv Sanity採用類似的方法，為你推薦arXiv上你可能最感興趣的機器學習論文。使用Arxiv Santiy，你可以根據當前趨勢、你的過往喜好和你所關注的人的喜好對論文進行排序。（這就是在社交媒體上我們已經習慣使用的個性化推薦功能。）
關於網站的簡介可以瀏覽這個視頻☝
機器學習：Reddit上的WAYR主題帖
WAYR是What Are You Reading（你正在閱讀什麼）的簡寫。它是Reddit機器學習板塊的一個主題帖，大家把自己本週讀過的機器學習論文發佈在上面，並對感興趣的問題展開討論。
正如我之前所說，每週有非常多關於機器學習領域的論文被髮表在arXiv上。對於需要兼顧日常生活的正常人，每天需要上學、工作或與人溝通，不可能每週都把所有的論文讀完。另外，並不是所有的論文都值得花時間去閱讀。
因此，你需要把精力放在最有意思的論文上，上面我提到的主題帖就是一種方法。
電子報刊，電子報刊，電子報刊！
電子報刊是我的個人最愛，通過它我可以時時刻刻追蹤人工智能領域最新的進展。你可以非常簡單地訂閱它們，並且讓它們每週一傳送到你的電子信箱裡面，不用花一分錢！就這麼簡單，你就可以瞭解本週與AI相關的最有意思的新聞、文章和研究論文。
以下是我目前訂閱的一些電子報刊：
1.Jack Clark的引入AI
https://jack-clark.net/
這是我的最愛，因為這份電子報刊除了提供我上面提到的所有信息以外，它還包括一個叫做“科技童話”的部分，包含一篇由過去一週的新聞主題編輯的AI科幻短篇小說。悄悄地告訴你，即使有那麼幾周我對AI的新進展失去熱情，我也會因為想看科技童話這部分而瀏覽這個電子報刊
2.Sam DeBrule的機器學習
https://machinelearnings.co/
作者還有一本同名的媒體出版物，其中包含了一些非常有趣的文章，請務必查看。
文章鏈接
https://machinelearnings.co/a-humans-guide-to-machine-learning-e179f43b67a0
3.Nathan Benaich的Nathan.ai
https://www.getrevue.co/profile/nathanbenaich
前兩份電子報刊都是週報，而這份是季刊。因此，每隔三個月你會收到一封長長的電子郵件，裡面總結了過去三個月以來AI領域最有趣的發現和發展狀況。
4.Denny Britz的AI狂野一週
https://www.getrevue.co/profile/wildml
我個人真的很喜歡這份電子報刊，因為它的版面很乾淨，演示很簡潔，不過近兩個月以來好像沒有繼續更新了。無論如何，給大家一個參考，希望Danny什麼時候再恢復更新。
5.Twitter上面的AI大V
另一個可以追蹤時新的方法是關注知名研究者和開發人員的Twitter賬戶。以下是我關注的人員列表：
- Michael Nielsen
- Andrej Karpathy
- Francois Chollet
- Yann LeCun
- Chris Olah
- Jack Clark
- Ian Goodfellow
- Jeff Dean
- OpenAI
聽起來都很不錯，但是我應該怎麼開始呢？
是的，這是一個更加迫切的問題。
好的，首先你需要確保自己已經瞭解了機器學習的相關基礎知識，例如迴歸等算法；你還需要知道一些深度學習的基本知識，比如最基本的神經網絡，反向傳播，正則化。
最好還能夠稍微瞭解難一些的概念，例如ConvNets、RNN 和LSTM是如何工作的。我真心不覺得閱讀研究論文是瞭解這些基礎知識的最好的方法，有很多其它的資源可以供你參考。
一旦有了基本的瞭解，你首先應該閱讀一篇相關的論文。這樣，你就可以專注地熟悉學術論文的基本格式和體裁。你並不需要完全讀懂你閱讀的第一篇學術論文，因為你對論文的主題已經非常熟悉了。
我建議你先從講述AlexNet的論文開始。
鏈接：
https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks
為什麼選擇這篇論文？
請看下面的這張圖：
你看見代表Computer Vision and Pattern Recognition的紅線從2012年之後飆升得非常明顯了吧？這種情況很大程度上要歸功於這篇論文。
這篇論文重新點燃了人們對深度學習的所有興趣。
由Alex Krizhevsky，Ilya Sutskever和Geoffrey Hinton撰寫，題為《ImageNet Classification with Deep Convolutional Networks》的這篇論文被認為是該領域最具影響力的論文之一。這篇論文描述了作者如何使用名為AlexNet的卷積神經網絡，並贏得2012年度ImageNet大規模視覺識別挑戰賽（ILSVRC）的冠軍。
如果你不太瞭解情況，讓我來為你解釋一下。讓計算機能夠觀察和識別對象（又名計算機視覺）是計算機科學最早的目標之一。 ILSVRC就像是這個領域內的奧運會。參賽者（計算機算法）試圖將圖像正確地歸為1000個類別的其中一個。 在2012年，AlexNet以絕對巨大的優勢贏得了這一挑戰：
AlexNet以15.3%的top-5（模型預測概率的前五位包含目標物體）錯誤率榮登榜首，而第二名的錯誤率則只有26.2%！
ImageNet Large-Scale Visual Recognition Challenge (ILSVRC) 2012 大賽測試集和驗證集的錯誤率比較。斜體結果表示其他方法得到的最有結果。帶星號*的結果是用“預訓練”的模型來識別ImageNet 2011 Fall樣本的結果。
毫無疑問，整個計算機視覺社區都震驚了，關於該領域的研究正前所未有地飛速發展。人們開始意識到深度神經網絡的強大，利用它每個人都能夠從中受益！
別看這篇文章看起來很難，如果你通過一些課程或者教材對卷積神經網絡有基本的瞭解，那麼掌握這篇論文的內容是非常容易的。趕緊行動吧！
當你讀完了上面那篇文章之後，你可以閱讀與卷積神經網絡相關的其他具有開創性意義的論文，也可以轉移到你感興趣的其他架構（比如RNN，LSTM，GAN）。
Github的存儲庫上面也有很多重要的深度學習方面的研究論文。 當你開始閱讀的時候請先看看這份指引，它們將幫助你創建屬於自己的閱讀列表。
鏈接：
https://github.com/floodsung/Deep-Learning-Papers-Reading-Roadmap
不得不提到的其它資源
Distill.pub ：
https://distill.pub/about/
我只想提一點：如果所有研究論文都在Distill期刊上發表，那我這篇文章就可以不用寫了。你不必閱讀這篇文章來學習如何開始閱讀研究論文，並且我們也不需要在互聯網上創建這麼多的課程和教程來解釋這些開創性的研究思想，Distill就是這樣一個綜合性的平臺。
相關鏈接：
https://towardsdatascience.com/getting-started-with-reading-deep-learning-research-papers-the-why-and-the-how-dfd1ac15dbc0
閱讀更多 大數據文摘 的文章
