在機器學習數學第4部分中，我們將從特徵向量開始我們的討論。特徵向量，特徵值是什麼，以及它們與我們到目前為止在機器學習數學系列-線性代數中所學到的內容之間的聯繫。
希望到機器學習數學第4部分的本主題結束時，您將具備開始更好地學習機器學習所需的所有基本線性代數知識。
特徵值和特徵向量：
起源於希臘語，意為特色。因此，如果我們正在討論某物的特徵值，我們可能會對它的特性感興趣。正如本系列前面部分所做的那樣，讓我們從圖像開始，而不是從數學符號開始。一旦我們知道如何描述和解釋這些幾何圖形，我們就可以輕鬆掌握其餘的線性代數。
在前面的部分中，我們看到了如何通過矩陣應用線性變換。我們討論了不同的變換，例如旋轉，剪切，逆變換等。事實上，通過執行這些操作，我們正在更改特定的向量。
讓我們從在原點繪製正方形的基本形狀開始，看看應用於正方形的變換如何在空間中對其進行更改。
通過將正方形縮放2倍，我們的正方形變成一個矩形，
通過應用水平轉向，正方形變成了這樣的形狀，
需要注意的是，通過改變平方，我們可以觀察到各個向量的變化。有些向量保持不變，而有些則在變化。
我們繪製了3個向量，以更輕鬆地瞭解我們在說什麼。
現在，如果我們對這些向量應用垂直縮放，會發生什麼？
綠色矢量保持相同方向和相同長度。粉色也保持其方向，但長度增加了一倍。但是原來為45度的橙色矢量現在增加了角度和長度。
由此我們可以得出結論，在某種意義上，水平和垂直向量是特殊向量。它們是此特定轉換的特徵。它們不變。它們是特徵向量。
此外，由於水平向量的長度保持為1，垂直向量的長度為原來的兩倍，因此可以說它們的特徵值分別為1和2。
那麼，特徵向量和特徵值是關於什麼的呢？對於二維空間，基本上只是進行轉換並尋找與轉換前保持相同跨度的向量，然後尋找其變化的長度。
特徵特例：
讓我們看一些獨特的特徵示例，並嘗試建立一個更穩健的概念，使我們到目前為止所學到的特徵值和向量。
讓我們在原點處對正方形應用旋轉，並尋找特徵向量及其值。
如果我們將空間旋轉180度怎麼辦？
我們看到所有三個向量都位於相同的跨度上，但是它們的方向卻朝相反的方向變化。這是所有三個特徵向量的特徵值-1。
現在，讓我們看另一個示例，並應用垂直和完全轉換。
乍一看，您可能已經得出結論，有一個特徵向量是綠色的水平向量。但是有兩個特徵向量。看一看。
這表明特徵向量雖然是一個簡單的概念，但是並不總是容易發現。
要了解我們所說的是正確的，讓我們應用反函數並將平行四邊形取回正方形。
現在我們可以很容易地看到，引入的向量確實是特徵向量，它位於變換前後的空間跨度中。
在機器學習中，當我們不僅要處理2或3個維度，還要處理數百個維度時，問題會變得更加棘手。這種複雜性顯然要求對特徵向量有一個更通用，更健壯的定義。
讓我們在3D空間中使用一個相對簡單的示例。
縮放和剪切可能看起來與2D空間中的相同，但是旋轉會發生什麼？
粉色和綠色矢量改變方向，而橙色矢量保持相同的跨度。如果我們仔細考慮，我們還將獲得有關旋轉軸的一些信息。意思是，在3D空間中，如果我們找到特徵向量，我們還將獲得旋轉軸。
特徵向量計算：
到目前為止，希望在機器學習數學的第4部分中，我們已經對特徵向量和特徵值建立了某種幾何上的理解。現在，讓我們嘗試根據線性代數形式化我們的理解，以便我們可以在需要時計算特徵向量及其值。
如果轉換後的向量與特徵向量保持相同的跨度，讓我們再次刷新。它們的長度可以增加，甚至可以朝相反的方向延伸，但是如果跨度保持不變，則它們將滿足特徵向量的定義。
假設我們有一個特徵向量x，然後可以將表達式寫為：
在左側，我們將變換矩陣應用於向量x。在右側，我們將值x擴展了一個係數λ。我們必須找到x等於兩端的值。換句話說，應用於特徵向量的變換矩陣x要麼更改其長度，要麼完全不執行等於因子1的操作。
在此，A是n維矩陣。它必須是nxn維。此外，x還必須是nxn維向量。現在，讓我們嘗試通過分解來解決它。
在這裡，我只是一個nxn單位矩陣，前導對角線為1，其他所有位置為0。
在第一個表達式中，我們不需要I，因為矩陣的乘法是由標量定義的。但是，矩陣中的減法未定義。因此，介紹我只是在不改變任何內容的情況下清理了數學。
現在，如果x = 0或方括號內的值等於0，則上面的表達式等於0。對於x = 0的情況，我們不感興趣，因為這意味著沒有方向也沒有長度，並且是微不足道的情況。我們必須在方括號內找到一個術語。
在機器學習數學的第4部分的前面各部分中，我們已經知道如果矩陣行列式為0，則矩陣運算的結果為0。
因此，特徵值只是該方程式的一種解決方案，將它們放回到原始表達式中，我們可以獲得特徵向量。
讓我們通過將其應用於我們已經知道我們的特徵解決方案的轉換來繼續進行下去。
以向量的垂直縮放比例為例2。
這告訴我們，當λ= 1時，我們得到的x2值必須為0。但是x1呢？嗯，任何水平方向上的向量都可以是該系統的特徵向量，只要它在垂直方向上為0。我們可以這樣寫，將任意字符t
只要它不沿水平方向移動，那麼在該系統中，純垂直向量也將是特徵向量。
現在，我們有2個特徵向量及其對應的特徵值。
讓我們嘗試另一個逆時針旋轉90度的示例。
矩陣如下，
這表明我們在這種情況下沒有任何實數解決方案。儘管我們可以計算一些複雜的假想解，但讓我們將其排除在特定學習課程的範圍之外。
這裡要注意的一件有趣的事情是，您在執行機器學習時不會手工進行這些計算。電腦會很高興為您做到這一點。
另外，您可能已經注意到，我們的方法實際上在嘗試求解時會考慮並計算n階多項式的根。考慮到這一點，在具有數百個維度的實際系統中，這種情況很快就會脫離分析方法的控制範圍。但是，建立一些數學概念的概念基礎在現實世界的應用中起著更大的作用，然後只需要手工計算多個維度的多項式即可。
