到目前為止我們學習了，最小二乘法，邏輯迴歸，樸素貝葉斯，決策樹，神經網絡，卷積神經網絡。裡面提到了很多的數學概念，有懂得，也有不懂的，今天我們來列一個清單以便於後面的學習。
其實有同學也再問：“孫老師，你為什麼不先講數學知識，然後再講機器學習呢，就像小時候上學一樣，先學加減法，再學乘除，一年級一年級的往上學。”
首先這個同學問的問題非常好，一看，就是個三好學生。但是咱們不是義務教育，也不是小時侯了，大人要有大人的學習方法，如果一開始的時候就說：“學習機器學習需要花個2年時間去學習微積分，線性代數，概率論，數理統計，信息論這些數學知識，然後才能開始進入機器學習的階段。” 我想這時候本來計劃要學習的同學，一大半都要放棄了，尤其是已經工作幾年的程序員，各種身不由己。然而真正好的學習方式是帶著任務去學習，比如正在看一篇自然語言處理的文章，裡面講了兩篇文章的相似度是根據餘弦定理來判定的，假設你又不懂餘弦定理是幹什麼的，那麼這時候你就把學習餘弦定理作為一個學習的任務，這個就是一個很好的學習方式。由任務來驅動，用搜索的方式去學習。
周志華老師的西瓜書很早就買了，但是並沒有從第一頁翻到最後一頁的去看，而是先看序言，再看目錄，找到自己感興趣的內容和章節去學習。還有就是看博客學習，看論文的時候遇到生疏的概念，會去周老師的書裡查找，當作“新華字典”去用。但是千萬不要去背一些概念，只是僅僅記住文字沒有用的 ，要去理解，去一層一層的尋找數學原理，很多難懂的概念都是建立在最基礎的數學定理上面，要耐心的去深挖，直到初等數學基本定理。
還行吧，也沒那麼恐怖，現在看來還有些可愛呢。
下面列出目前為止涉及到的數學知識，專有名詞（持續更新中）：
一. 線性代數
向量
矩陣
集合
標量
張量
範數
內積
向量正交
正交基
特徵值分解
奇異值分解
二. 概率論
條件概率
聯合概率
全概率公式
逆概率
貝葉斯公式
貝葉斯定理
先驗概率
後驗概率
-
似然概率
最大似然估計法
最大後驗概率法
離散型隨機變量
連續型隨機變量
概率質量函數
概率密度函數
兩點分佈
二項分佈
泊松分佈
均勻分佈
-
指數分佈
正態分佈
數字特徵
數學期望
方差
協方差
三. 數理統計
樣本
總體
統計量
參數估計
假設檢驗
置信區間
區間估計
泛化能力
泛化誤差
欠擬合
過擬合
噪聲
偏差
四. 優化相關
目標函數
全局最小值
-
局部極小值
無約束優化
約束優化
拉格朗日函數
梯度下降法
梯度方向
一階導數
二階導數
牛頓法
泰勒展開
線性搜索方法
置信域方法
啟發式算法
五.信息論
信息熵
互信息
信息增益
KL 散度
最大熵原理
列這樣一個表的目的是出一個‘測試集’，按照機器學習的套路來，平常同學們自己學習就相當於機器學習中用訓練集數據去訓練，調優，等準確率提高到一定程度，再把模型放到測試集去訓練看最後結果，同學們學習一段時間，自我感覺良好了，可以把這個列表拿出來看檢驗一下，然後在去天池，kaggle上找個比賽參加一下，這樣反覆的來幾個回合，效果一定非常好。
當然不會只是這樣一個列表，接下來當然會詳細介紹一下每個章節的每一個名詞的概念。
閱讀更多 5分鐘機器學習 的文章
