從今天開始，我將開設一個機器學習數學基礎的系列。主要介紹機器學習中經常用到的那些數學知識，方便大家入門。一說起數學，有人會覺得很難。其實在這個系列中，我將會以最直白的語言來向你解釋這些數學名詞，大家不用擔心，即使你是零基礎，一樣可以看得懂。
- 向量
我們從向量開始說起，什麼是向量？它其實就是用括號括起來的一堆數，只不過這些數都是豎著寫的。比如：
它們就分別是1維、2維和3維的向量。我們一般用小寫粗體來表示向量，如x。如果我們寫
它代表什麼含義呢？“∈”這個符號讀作屬於，R表示實數集，而n表示維度。也就是說向量有幾個元素，就是幾維的向量。整個式子表示：向量x有n個維度，每個元素的取值都在實數集中。
- 範數
範數，又叫做L-p範數。它是這麼定義的：
看上去很複雜，其實也容易理解，我們一點點來看。上面的式子是說，對於給定的一個n維向量w，它的範數就是向量w中的各個元素的絕對值的p次方之和，再開p次的根號（1/p就相當於開p次根號）。根據p的取值不同，範數的結果也就不同。我們常用的p值為1,2，∞等等。
1. L1範數
我們先來看p值為1時的範數，我們稱之為L1範數。把p=1代入上面的式子，得到：
可能上面的式子還不夠直觀，我們再舉個例子來看。假設我們有二維向量w=（x，y），那麼w的L1範數就是|x|+|y|。當範數值固定時，我們還可以畫出由所有的點（x，y）構成的圖像。這裡不妨假設|x|+|y|=1（當然你可以假設為任意值k，這裡假設為1只是為了畫圖方便），我們大概用手畫一下它的圖像：
圖1
那麼圖像為什麼是這樣子的呢？我們可以研究下公式|x|+|y|=1，其中x和y的正負性是未知的，我們就可以分情況來討論：
① x>0，y>0。公式化簡為x+y=1，它原本的圖像是過圖1中A、B兩點的直線，但現在約束條件是x、y均大於0.所以它最後的圖像就是AB線段。
② x>0，y<0。公式化簡為x-y=1，它原本的圖像是過圖1中A、D兩點的直線。但現在有了約束條件，所以它最後的圖像就是AD線段。
③ x<0，y>0。公式化簡為-x+y=1，它原本的圖像是過圖1中B、C兩點的直線。但在約束條件下，它最後的圖像為BC線段。
④ x<0，y<0。公式化簡為-x-y=1，它原本的圖像是過圖1中C、D兩點的直線。但在約束條件下，它最後的圖像變成CD線段。
綜合以上的4種情況，|x|+|y|=1最後的圖像就是由AB、AD、BC、CD一共4條線段構成。
另外，我們也把L1範數稱為曼哈頓距離。為什麼呢，我們畫個圖來看下：
曼哈頓街道（圖2）
美國曼哈頓的街道一般都是橫平豎直的，從上圖中可以看出，我們想從A點到B點，無論我們如何選擇路線行走，最後走過的距離都是x+y。
2. L2範數
當p值為2時，代入範數定義公式，可得到L2範數：
注意，L2範數右下角的小標2是可以省略的，也只有L2範數才能省略。我們還是用向量w=（x，y）來舉例說明，則上式為：
這裡我們不妨再假設w的範數值為1，則有x²+y²=1.這就是單位圓的方程啊，我們把它畫出來：
圖3
此外，L2範數也被叫做歐式距離。
3. L-∞範數
當p的值取無窮大時，此時的範數又是多少呢？我們一步一步來推導，先把p=∞代入，得到：
展開，可得
我們先來關注括號內的部分，對於W1到Wn，我們總能找到一個Wj，使得Wj在其中是最大值。由於指數增長是非常快的，那麼在求它們的∞次方的時候，括號內的值可以被看做是求Wj的∞次方。然後再對它開∞次的根號，最後得到的就是|Wj|。因此，我們就得到：
其中，Wj是向量w元素中的最大值。我們還是以向量w=（x，y）舉例，來畫出L-∞範數下的圖像：
可以看到，最後的圖像是一個正方形。那為什麼是這樣呢？我們還是分情況來討論：
① x取到最大值k，且x>0。也就是說x=k，那麼圖像就是AB線段。
② x取到最大值k，且x<0。結果是x=-k，那麼圖像就是CD線段。
③ y取到最大值k，且y>0。則y=k，圖像是BC線段。
④ y取到最大值k，且y<0。則y=-k，圖像為DA線段。
綜合以上4種情況，最後的圖像就是一個ABCD所構成的正方形了。
以上的內容，你都明白了嗎？有問題可以私信我。
閱讀更多 極客大學 的文章
