什麼是機器學習與單變量線性迴歸

支持向量機可處理高維數據集。

Unsupervised Learning

無監督學習中沒有任何的標籤或者是有相同的標籤或者就是沒標籤。所以我們已知數據集,卻不知如何處理,也未告知每個數據點是什麼。

2.單變量線性迴歸

2.1.模型表示

表達式:h(x) = θ0 + θ1x

2.2.代價函數(損失函數)

參數決定了我們得到的直線相對於我們的訓練集的準確程度,模型所預測的值與訓練集中實際值之間的差距(下圖中藍線所指)就是建模誤差( modeling error)。

目標便是選擇出可以使得建模誤差的平方和能夠最小的模型參數。即使得代價函數

什麼是機器學習與單變量線性迴歸

最小。

什麼是機器學習與單變量線性迴歸

平方誤差代價函數可能是解決迴歸問題最常用的手段。

2.3.代價函數的直觀理解

什麼是機器學習與單變量線性迴歸

使用一種算法, 能夠自動地找出能使代價函數J 最小化的參數 θ0 和 θ1 的值。

2.4.梯度下降(Gradient Descent)

梯度下降是一個用來求函數最小值的算法, 我們將使用梯度下降算法來求出代價函數J(θ0,θ1) 的最小值。

梯度下降背後的思想是: 開始時我們隨機選擇一個參數的組合( θ0,θ1,...,θn), 計算代價

函數,然後我們尋找下一個能讓代價函數值下降最多的參數組合。我們持續這麼做直到到到

一個局部最小值( local minimum) , 因為我們並沒有嘗試完所有的參數組合,所以不能確定

我們得到的局部最小值是否便是全局最小值( global minimum),選擇不同的初始參數組合,

可能會找到不同的局部最小值。

批量梯度下降( batch gradient descent)算法的公式為:

什麼是機器學習與單變量線性迴歸

其中 α 是學習率( learning rate) , 它決定了我們沿著能讓代價函數下降程度最大的方向向下邁出的步子有多大,

在批量梯度下降中,我們每一次都同時讓所有的參數減去學習速率乘以代價函數的導數。

2.5.梯度下降的直觀理解

在梯度下降法中, 當我們接近局部最低點時, 梯度下降法會自動採取更小的

幅度, 這是因為當我們接近局部最低點時, 很顯然在局部最低時導數等於零, 所以當我們接

近局部最低時, 導數值會自動變得越來越小, 所以梯度下降將自動採取較小的幅度, 這就是

梯度下降的做法。 所以實際上沒有必要再另外減小 α。

2.6.梯度下降的線性迴歸 (GradientDescentForLinearRegression)

將梯度下降應用於具體的擬合直線的線性迴歸算法裡。

對我們之前的線性迴歸問題運用梯度下降法,關鍵在於求出代價函數的導數,


分享到:


相關文章: