機器學習是人工智能的一個分支，討論的是如何通過模型提取數據中的知識。通常這些知識是非確定性的知識，需要從數據出發挖掘潛在的知識，構建的模型也是統計意義上的模型，是對真實情況的一個擬合，所以也叫統計知識學習。從這裡我們就可以看出來這裡有一個隱含的假設，就是假設數據潛在一個統計學規律，而學習的過程中只是將其找出來。
機器學習總的來講可以分為兩大類，一種是監督學習，一種是非監督學習。所謂監督學習就是用於訓練的數據集有確定的結果即同時給出數據和結果；另一種是非監督學習，就是丟給你一堆數據，讓你從中發現規律。當然還有一種是強化學習，強化學習討論的是一種不需要預先給定任何數據，而是通過接收環境對動作的獎勵（反饋）獲得學習信息並更新模型參數，實際上是建立了一個輸入和反饋的閉環系統。
常見的監督模型包括：感知機、k近鄰、樸素貝葉斯、決策樹、Logistic迴歸和最大熵、支持向量機、Boosting方法、EM算法、隱馬爾可夫模型、條件隨機場；非監督模型：聚類、奇異值分解、主成分分析、潛在語義分析、馬爾可夫鏈蒙特卡洛方法等等。
理解上述模型需要有以一個統一框架：模型、策略和算法；模型就是如何用一個數學模型對問題建立適合的描述，策略就是要選擇對方法（蠻力、分治、貪心等）、算法就是選擇一種實際的步驟來實現策略。比如感知機：模型就是通過一個符號函數來表示一個分類問題要麼是要麼不是，策略就是通過一個損失函數來尋找最優參數，算法就是用梯度下降算法來逼近解。
機器學習中模型的評價通過模型的訓練誤差和測試誤差來評估，通常要求兩個誤差都小是最好的，但是往往很難做到，模型常常出現在訓練集中擬合的很好而測試集中表現不佳的情況，這就我們說的過擬合。過擬合產生的原因往往是生成的模型過於複雜而導致的，就是把簡單的問題搞複雜了，通常的解決方式是在模型中加入正則項，也可以理解為複雜度的控制項目，這個項一般與問題的結構有關常常是問題結構的函數。
在監督學習中建立的模型又分為生成模型和判別模型。生成模型就是已知了聯合概率分佈，求出條件概率分佈，也就是知道P(X,Y),求P(Y|X)，而判別方法則是直接從數據中學習P(Y|X)即條件概率分佈。上述的監督學習也可以大致規到這兩種依據模型的分類了。
閱讀更多 老郭講算法 的文章
