在机器学习数学第4部分中，我们将从特征向量开始我们的讨论。特征向量，特征值是什么，以及它们与我们到目前为止在机器学习数学系列-线性代数中所学到的内容之间的联系。
希望到机器学习数学第4部分的本主题结束时，您将具备开始更好地学习机器学习所需的所有基本线性代数知识。
特征值和特征向量：
起源于希腊语，意为特色。因此，如果我们正在讨论某物的特征值，我们可能会对它的特性感兴趣。正如本系列前面部分所做的那样，让我们从图像开始，而不是从数学符号开始。一旦我们知道如何描述和解释这些几何图形，我们就可以轻松掌握其余的线性代数。
在前面的部分中，我们看到了如何通过矩阵应用线性变换。我们讨论了不同的变换，例如旋转，剪切，逆变换等。事实上，通过执行这些操作，我们正在更改特定的向量。
让我们从在原点绘制正方形的基本形状开始，看看应用于正方形的变换如何在空间中对其进行更改。
通过将正方形缩放2倍，我们的正方形变成一个矩形，
通过应用水平转向，正方形变成了这样的形状，
需要注意的是，通过改变平方，我们可以观察到各个向量的变化。有些向量保持不变，而有些则在变化。
我们绘制了3个向量，以更轻松地了解我们在说什么。
现在，如果我们对这些向量应用垂直缩放，会发生什么？
绿色矢量保持相同方向和相同长度。粉色也保持其方向，但长度增加了一倍。但是原来为45度的橙色矢量现在增加了角度和长度。
由此我们可以得出结论，在某种意义上，水平和垂直向量是特殊向量。它们是此特定转换的特征。它们不变。它们是特征向量。
此外，由于水平向量的长度保持为1，垂直向量的长度为原来的两倍，因此可以说它们的特征值分别为1和2。
那么，特征向量和特征值是关于什么的呢？对于二维空间，基本上只是进行转换并寻找与转换前保持相同跨度的向量，然后寻找其变化的长度。
特征特例：
让我们看一些独特的特征示例，并尝试建立一个更稳健的概念，使我们到目前为止所学到的特征值和向量。
让我们在原点处对正方形应用旋转，并寻找特征向量及其值。
如果我们将空间旋转180度怎么办？
我们看到所有三个向量都位于相同的跨度上，但是它们的方向却朝相反的方向变化。这是所有三个特征向量的特征值-1。
现在，让我们看另一个示例，并应用垂直和完全转换。
乍一看，您可能已经得出结论，有一个特征向量是绿色的水平向量。但是有两个特征向量。看一看。
这表明特征向量虽然是一个简单的概念，但是并不总是容易发现。
要了解我们所说的是正确的，让我们应用反函数并将平行四边形取回正方形。
现在我们可以很容易地看到，引入的向量确实是特征向量，它位于变换前后的空间跨度中。
在机器学习中，当我们不仅要处理2或3个维度，还要处理数百个维度时，问题会变得更加棘手。这种复杂性显然要求对特征向量有一个更通用，更健壮的定义。
让我们在3D空间中使用一个相对简单的示例。
缩放和剪切可能看起来与2D空间中的相同，但是旋转会发生什么？
粉色和绿色矢量改变方向，而橙色矢量保持相同的跨度。如果我们仔细考虑，我们还将获得有关旋转轴的一些信息。意思是，在3D空间中，如果我们找到特征向量，我们还将获得旋转轴。
特征向量计算：
到目前为止，希望在机器学习数学的第4部分中，我们已经对特征向量和特征值建立了某种几何上的理解。现在，让我们尝试根据线性代数形式化我们的理解，以便我们可以在需要时计算特征向量及其值。
如果转换后的向量与特征向量保持相同的跨度，让我们再次刷新。它们的长度可以增加，甚至可以朝相反的方向延伸，但是如果跨度保持不变，则它们将满足特征向量的定义。
假设我们有一个特征向量x，然后可以将表达式写为：
在左侧，我们将变换矩阵应用于向量x。在右侧，我们将值x扩展了一个系数λ。我们必须找到x等于两端的值。换句话说，应用于特征向量的变换矩阵x要么更改其长度，要么完全不执行等于因子1的操作。
在此，A是n维矩阵。它必须是nxn维。此外，x还必须是nxn维向量。现在，让我们尝试通过分解来解决它。
在这里，我只是一个nxn单位矩阵，前导对角线为1，其他所有位置为0。
在第一个表达式中，我们不需要I，因为矩阵的乘法是由标量定义的。但是，矩阵中的减法未定义。因此，介绍我只是在不改变任何内容的情况下清理了数学。
现在，如果x = 0或方括号内的值等于0，则上面的表达式等于0。对于x = 0的情况，我们不感兴趣，因为这意味着没有方向也没有长度，并且是微不足道的情况。我们必须在方括号内找到一个术语。
在机器学习数学的第4部分的前面各部分中，我们已经知道如果矩阵行列式为0，则矩阵运算的结果为0。
因此，特征值只是该方程式的一种解决方案，将它们放回到原始表达式中，我们可以获得特征向量。
让我们通过将其应用于我们已经知道我们的特征解决方案的转换来继续进行下去。
以向量的垂直缩放比例为例2。
这告诉我们，当λ= 1时，我们得到的x2值必须为0。但是x1呢？嗯，任何水平方向上的向量都可以是该系统的特征向量，只要它在垂直方向上为0。我们可以这样写，将任意字符t
只要它不沿水平方向移动，那么在该系统中，纯垂直向量也将是特征向量。
现在，我们有2个特征向量及其对应的特征值。
让我们尝试另一个逆时针旋转90度的示例。
矩阵如下，
这表明我们在这种情况下没有任何实数解决方案。尽管我们可以计算一些复杂的假想解，但让我们将其排除在特定学习课程的范围之外。
这里要注意的一件有趣的事情是，您在执行机器学习时不会手工进行这些计算。电脑会很高兴为您做到这一点。
另外，您可能已经注意到，我们的方法实际上在尝试求解时会考虑并计算n阶多项式的根。考虑到这一点，在具有数百个维度的实际系统中，这种情况很快就会脱离分析方法的控制范围。但是，建立一些数学概念的概念基础在现实世界的应用中起着更大的作用，然后只需要手工计算多个维度的多项式即可。
