09.28 80頁筆記看遍機器學習基本概念、算法、模型，幫新手少走彎路

本文約1000字，建議閱讀6分鐘。

這份學習筆記幫你及時回顧機器學習概念，帶你快速上手。

[ 導讀 ]目前有關機器學習的資料可謂層出不窮，其中既有書籍、課程視頻資料，也有很多算法模型的開源項目。不過對於初學者來說，或許閱讀學習筆記是一種最容易快速上手的方法。

本文要介紹的是一份長約 80 頁的學習筆記，旨在總結機器學習的一系列基本概念（如梯度下降、反向傳播等），不同的機器學習算法和流行模型，以及一些作者在實踐中學到的技巧和經驗。

如果你是一個剛剛入門機器學習領域的人，這份學習筆記或許可以幫你少走很多彎路；如果你不是學生，這些筆記還可以在你忘記某些模型或算法時供你快速查閱。必要時，你可以使用 Ctrl+F 搜索自己想知道的概念。

筆記鏈接：

https://createmomo.github.io/2018/01/23/Super-Machine-Learning-Revision-Notes/#tableofcontents

筆記共分為以下六大部分：

• 激活函數
• 梯度下降
• 參數
• 正則化
• 模型
• 實用竅門

在第一部分“激活函數”中，作者提供了 Sigmoid、tanh、Relu、Leaky Relu 四種常用的機器學習激活函數。

第二部分“梯度下降”又分為計算圖、反向傳播、L2 正則化梯度、梯度消失和梯度爆炸等 12 個小節：

為了幫助讀者理解，作者舉了一些例子，並對很多內容進行了可視化的展示：

梯度下降

此外，作者還對代碼中用到的一些符號進行了詳細解釋，對於新手來說非常友好：

筆記的第三部分是機器學習中的參數，又分為可學習參數和超參數、參數初始化、超參數調優等幾個小節。

為了防止新手走彎路，作者在“參數初始化”部分的開頭就提醒道：其實，TensorFlow 等機器學習框架已經提供了魯棒的參數初始化功能。類似的提醒在筆記中還有很多。

筆記的第四部分是正則化，包含 L2 正則化、L1 正則化、Dropout、早停四個小節。

第五部分是整份筆記的重中之重，詳細描述了邏輯迴歸、多類分類（Softmax 迴歸）、遷移學習、多任務學習、卷積神經網絡（CNN）、序列模型、Transformer 和 BERT 等八大類機器學習模型。並且，八大類模型下面又分為各個小類進行詳解，具體如下所示：

解釋相對簡單的前四類機器學習模型

解釋最為詳盡的卷積神經網絡（CNN），包括 Filter/Kernel、LeNet-5、AlexNet、ResNet、目標檢測、人臉驗證以及神經風格遷移等

序列模型，包括常見的循環神經網絡模型（RNN）、Gated Recurrent Unit（GRU）、LSTM、雙向 RNN、深度 RNN 示例、詞嵌入、序列到序列翻譯模型示例等

Transformer 和 BERT 模型

筆記最後一部分給出了一些“實用竅門”，包括訓練/開發/測試數據集、不匹配的數據分佈、輸入歸一化以及誤差分析等 6 方面內容。其中有些竅門來自 Deep Learning AI 等在線課程，還有一部分是作者自己總結得到的。

作者的其他筆記

除了這份機器學習筆記之外，作者之前還整理過概率圖模型、BiLSTM 上面的 CRF 層等相關筆記。詳細目錄如下：

作者整理的概率圖模型複習筆記

作者整理的 BiLSTM 上的 CRF 層相關筆記

校對：王欣

— 完 —

關注清華-青島數據科學研究院官方微信公眾平臺“THU數據派”及姊妹號“數據派THU”獲取更多講座福利及優質內容。