最近看到很多關於SVM核函數的問題，下面講一講為什麼核函數可以把地位不可分數據映射到高維線性可分。
首先我們要清楚，SVM中，對於維度的計算，我們可以用內積的形式，假設函數：
表示一個簡單的從二維映射到三維。
則在SVM的計算中，可以表示為：
再來看exp(x)泰勒展開式：
所以這個無窮多項的式子正是對於exp(x)的近似，exp(x)所對應的映射：
再來看高斯核：
將泰勒展開式帶入高斯核，我們得到了一個無窮維度的映射：
那麼，對於x1和x2的內積形式符合在SVM中無窮維度下的內積計算，即高斯核將數據映射到無窮高的維度。
核函數的本質
上面說了這麼一大堆，讀者可能還是沒明白核函數到底是個什麼東西？我再簡要概括下，即以下三點：
- 實際中，我們會經常遇到線性不可分的樣例，此時，我們的常用做法是把樣例特徵映射到高維空間中去(如上文2.2節最開始的那幅圖所示，映射到高維空間後，相關特徵便被分開了，也就達到了分類的目的)；
- 但進一步，如果凡是遇到線性不可分的樣例，一律映射到高維空間，那麼這個維度大小是會高到可怕的(如上文中19維乃至無窮維的例子)。那咋辦呢？
- 此時，核函數就隆重登場了，核函數的價值在於它雖然也是將特徵進行從低維到高維的轉換，但核函數絕就絕在它事先在低維上進行計算，而將實質上的分類效果表現在了高維上，也就如上文所說的避免了直接在高維空間中的複雜計算。
以高斯核函數為例，證明它可以將地位數據映射到無窮維：
分享到:
閱讀更多 機器學習與數據挖掘 的文章
