我們看到在線性代數里面出現的矩陣的奇異值分解的一大堆推導，七葷八素的不是太明白。其實結合一些實例理解起來會相對容易一些。一個矩陣A可以看作一個多維空間中的線性操作，比如y=Ax，就是將A這個操作加到x上得到y。這個操作是什麼呢？矩陣分解定理告訴我們任意一個實矩陣可以分解為三個部分，U-正交矩陣，V^T(轉置）-正交矩陣和一個B-對角矩陣。y=UBV^TX的形式。就是說將X向量先以V做旋轉或反射變換，然後再以B對角元素做線性縮放，再以U做旋轉和反射變換，最後得到了Y。可以看作是旋轉兩次，再拉伸一次的操作。特別要說一下B這個對角矩陣，是對旋轉的X進行拉伸，拉伸的長度就是A的矩陣的特徵向量了。還記得線性代數中特徵值和特徵向量的定義：Ax=bx，就是說A作用在這個向量上的作用結果只是拉伸了x，那麼b就是特徵值、x就是特徵向量。這就是特徵值的真正用處，它其實是A矩陣張成空間的一組基，而x已經是這個基中的一個向量，所以線性變換A作用在x上對的效果就沒有旋轉了，只是長度的變化！
在機器學習中的主成分分析就是利用了矩陣的奇異值分解，前k個主成分就是矩陣A前k個特徵向值。不知道本人有沒有講清楚，這點東西困擾了好久
分享到:
閱讀更多 老郭講算法 的文章
