互聯網上充滿了深度學習的教程。如果你是一個初學者，你可以選擇去上斯坦福大學的CS221、CS224課程或人工智能課程等等。當然還有另外一種方法，你只需要一臺性能良好的電腦（最好是使用Nvidia GPU），這樣你就可以很好地開始深度學習。
然而，並沒有絕對的初學者。一旦你對深度學習算法的工作原理有了一定的瞭解，你可能更多的是對方法的掌控。大多數工作需要使用深度學習，像Conv2d，在不同類型的優化策略（如ADAM）中改變超參數或使用batchnorm和其他技術，只需在Python寫一行命令就能完成（多虧了可用的框架），但很多人可能會想知道框架背後是如何處理的。本文的資源列表可以幫助你瞭解在（例如）放置conv2d圖層或在Theano中調用T.grad時發生的情況。
一般論文
書本是最好的老師，如果你還想要更多的推薦話，作者認為Charniak教授的課程和論文你一定不能錯過。如果你想從特定的角度理解事情，你可能還需要其他資源。例如，本教程是從應用數學家的角度編寫的，如果你只是想開始編碼而不涉及任何理論，請閱讀此處。（https://arxiv.org/abs/1703.05298）。
關於反向推廣的問題
有很多時候，人們不確定"梯度下降和反向推廣是一回事嗎？"或者"鏈式法則和反向推廣究竟是什麼？"。為了理解基礎知識，我們可以選擇閱讀Rumelhart，Hinton和Williams的論文。論文位於這裡，是一個非常簡單易懂的文檔。（https://web.stanford.edu/class/psych209a/ReadingsByDate/02_06/PDPVolIChapter8.pdf）
線性代數和其他數學
任何人都會引導有意學習線性代數的人來開始學習Strang教授的課程。（https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/） 它可能是地球上線性代數的最佳資源。類似的例子還有Boyd教授的優化課程或者關於向量微積分的書籍。（http://web.stanford.edu/~boyd/cvxbook） 然而，一個人不需要深入研究這些資源的深度。 快速入門的方法是快速回顧所有深度學習的先決條件——微積分，可在此處找到。（https://arxiv.org/abs/1802.01528） 另一個很好的資源是Sebastian Reuder的論文。（https://arxiv.org/abs/1609.04747）作者也喜歡用這些講義來了解張量上的衍生物。（https://github.com/mtomassoli/tensor-differential-calculus/blob/master/tensor_diff_calc.pdf）
自動分化和深度學習庫
自動分化並不是你在深度學習時絕對需要知道的。 大多數框架如Torch、Theano或Tensorflow都可以自動為你做。在大多數情況下，你甚至不需要知道分化是如何完成的。也就是說，如果你決心瞭解深度學習框架的工作原理，你可能想了解自動分化在這裡的工作原理。（https://arxiv.org/abs/1502.05767） 瞭解深度學習庫功能的其他很好的資源可以在此博客（http://blog.christianperone.com/2018/03/pytorch-internal-architecture-tour） 和視頻（https://www.youtube.com/watch?v=Lo1rXJdAJ7w） 中找到。
卷積神經網絡
在你完成一些課程後，你可能需要做的最有用的事情就是了解卷積如何作用於圖像上的。 "在輸入應用某種類型的卷積後，輸出的形狀是什麼？"，"跨度如何影響卷積？"，"什麼是批量標準化？"等等。作者在這些類型的應用問題中看到的兩個最好的資源是這裡的教程（https://arxiv.org/abs/1603.07285） 和Ian Goodfellow的談話。（https://www.youtube.com/watch?v=Xogn6veSyxA） 如果你想了解的話，這裡有一個關於Convnets的更全面的回顧。（https://arxiv.org/abs/1803.08834） 這篇關於對象檢測的綜述是本課題的一個很好的資源。（https://arxiv.org/abs/1803.08834）
NLP深度學習
作者之前指出斯坦福大學的CS224課程是一個非常好的起點，學習掌握它後你應該能夠勝任幾乎所有關於它的事情。 Graham Neubig（使用dynet）在YouTube上也有一門課程。（https://www.youtube.com/watch?v=Sss2EA4hhBQ） Yoav Goldberg還有一本你可能會喜歡的NLP書。（https://u.cs.biu.ac.il/~yogo/nnlp.pdf）關於是否在文本上使用轉換網或RNN（LSTM / GRU）也有一個非常常見的問題。這裡有一個很好的概述。（https://arxiv.org/pdf/1803.01271.pdf）
強化學習
《薩頓和巴託》是開始使用這些方法的聖經。這本書是免費的，可在這裡找到。（http://incompleteideas.net/book/the-book-2nd.html） 在這裡可以找到關於最近深入強化學習方法的很好的回顧。（https://arxiv.org/abs/1708.05866） 這裡有關於強化學習的非常有趣的教程。（https://hackernoon.com/intuitive-rl-intro-to-advantage-actor-critic-a2c-4ff545978752）
蒙特卡羅樹搜索（除深入增強學習技術之外，它是Deepmind的AlphaGo算法的一部分）的一個很好的回顧就在這裡。（http://mcts.ai/pubs/mcts-survey-master.pdf） 但是，我們也可以使用這個快速教程來了解它們。（http://jeffbradberry.com/posts/2015/09/intro-to-monte-carlo-tree-search/?utm_source=top.caibaojian.com/19271）
其他一些好的評論/教程
關於GANs（生成敵對網絡）和一般生成模型的一個很好的教程是Goodfellow在ICLR 2016中給出的。可以在這裡找到。（https://www.youtube.com/watch?v=HGYYEUSm-0Q） 神經網絡已被用於傳輸藝術（例如在Prisma應用程序中），詳細的調查方法可以在這裡找到。（https://arxiv.org/abs/1705.04058） Reuder的另一個關於多任務學習（通過同一個神經網絡組合多個任務）的好的文章在這裡。（https://arxiv.org/abs/1706.05098）
批評
儘管深度學習在很多問題上都表現得非常出色，但我們知道，總有一些地方它還尚未達成目標。一些很好的批評是Shalev-Shwartz等人基於梯度學習的失敗提出的，（https://arxiv.org/abs/1703.07950） Hinton的這篇文章中也列舉了一些對流方面的困難（https://www.youtube.com/watch?v=rTawFwUvnLE） 以及對流網絡不能解釋他們訓練圖像的負面影響。（https://arxiv.org/pdf/1703.06857.pdf） 。
閱讀更多 AI中國 的文章
