机器学习中微积分多元或多元系统的概念

微积分是数学领域,它构成了机器学习算法的组成部分。在使用神经网络及其优化时,经常会遇到微积分的概念。在有关用于机器学习的微积分

的系列第一部分中,我们从关于函数,梯度和微分的一些基本讨论开始。我们看到了导数实际上与每个点上的函数梯度之间的关系。我们还构建了演算“工具箱”,以使我们的差异化之旅更加轻松。但是所有这些讨论都是围绕一个变量展开的。在机器学习微积分的第2部分中,我们将介绍多元或多元系统的概念。

多元系统:

顾名思义,我们将对微分和梯度的学习应用于多变量系统。多变量术语通常可以互换使用。根据投入和产出的数量略有区别,但是我们不会进行讨论,而是由统计人员进行。转到微积分的机器学习多元系统第2部分意味着我们现在可以使用微积分实现高维空间,这种情况在机器学习中很常见。

在开始对多变量进行微分之前,我们先来看一下变量一词。

在上一篇有关用于机器学习的微积分的文章中,我们正在研究汽车的速度与时间关系图。

机器学习中微积分多元或多元系统的概念

我们经常将变量定义为其他变量的函数。例如,在汽车速度时间示例中,我们可以说速度是时间的函数,因为汽车在每种时间实例中都有一个速度。相反,我们不能将时间定义为速度的函数,因为汽车可以在许多时间点以相同的给定速度行驶。在这种情况下,我们可以将速度定义为因变量,将时间定义为自变量。

通常在微积分中,我们将因变量与自变量区分开。但是,在某些情况下,区分变量和常量似乎并不简单。由于它可以随着所描述问题的上下文而变化。

让我们继续我们关于汽车速度与时间的示例,以了解它可能如何产生。考虑以下等式。

机器学习中微积分多元或多元系统的概念

在这里,由汽车发动机产生的力与汽车的质量m,加速度a,空气动力学驱动力d和速度v有关。在这里,汽车的加速度和速度可以通过增加或减小作用力来改变。但是质量和驱动力是汽车设计的不变特征。

现在,可以将力视为一个独立变量,因为它是独立施加的。加速度和速度是因变量,因为它们取决于所施加的力。质量和驱动力是常数。

现在更改问题的上下文。假设您必须设计给定加速目标的汽车。力仍将保持独立,但现在加速度和速度变为常数,质量和驱动力是因变量而调整,以满足所需的加速度目标。

这些变量在设计过程中称为参数。在将函数拟合到数据时,这些是我们为了找到最佳拟合而调整的函数参数。也就是说,我们就这些参数进行区分。需要注意的重要一点是,任何变量都可以与其他变量区分开。

考虑另一个例子金属罐。

机器学习中微积分多元或多元系统的概念

要制作金属罐,您将研究罐的不同设计参数。为此,可以将罐头切成碎片。我们得到两个圆,展开主体可以得到一个矩形,其宽度等于圆的周长。所有这些零件的面积乘以高度h,将得出用于制造罐头的金属的体积。将其乘以密度,我们得到金属质量。

机器学习中微积分多元或多元系统的概念

机器学习中微积分多元或多元系统的概念

(矩形和圆形的)面积都乘以密度和厚度。

现在让我们尝试分离变量和常量。除了pi之外,我们还可以肯定其他所有参数都可以更改。因此,让我们找到关于每个变量的罐头质量的导数。在使用一个变量时,我们会将所有其他变量视为常量。

机器学习中微积分多元或多元系统的概念

在这里,第一项不包含参数h,因此我们可以将其视为常数,并且常数的导数为零(如上一部分所示)。另外,请注意“偏”导数的符号。卷曲d而不是d表示我们区分了包含多个变量的函数。

继续,

机器学习中微积分多元或多元系统的概念

这是部分差异。偏微分只是将多维系统视为一个一维系统,同时分别处理系统的每个变量。看到,比以前考虑的单变量系统困难不大。

让我们考虑一个更具挑战性的偏微分问题。

考虑以下方程式:

机器学习中微积分多元或多元系统的概念

从x开始,让我们找到关于这三个变量的偏导数。

机器学习中微积分多元或多元系统的概念

由于指数项没有x变量,因此我们可以将其视为常数。

机器学习中微积分多元或多元系统的概念

在这里,sin项被视为常数。对于指数项,我们可以使用链式规则,也可以记住该规则,即该项的导数只是将指数的导数与项相乘。

机器学习中微积分多元或多元系统的概念

现在我们有了三个偏导数,让我们介绍总导数的概念。

让我们考虑所有三个变量x,y和z是单个变量t的函数。这样

机器学习中微积分多元或多元系统的概念

我们可以用t代替所有这三个变量,并直接相对于t进行区分。但是,具有大量变量的非常复杂的系统呢?解析表达式可能不是那么简单,甚至根本不存在。

另一种方法是对解决方案使用链式规则。现在,关于新变量t的导数是其他三个变量的总和。

机器学习中微积分多元或多元系统的概念

我们已经解决了f关于x,y和z的导数。我们现在必须找到关于t的三个变量的导数,然后我们可以进一步评估表达式。

机器学习中微积分多元或多元系统的概念

替换我们的表达式B,并通过简化一点,我们得出最终表达式。请注意,它与我们之前评估的内容相同-表达式A。

机器学习中微积分多元或多元系统的概念

该示例有望为您提供偏导数的整体概念,以及为什么有时需要总函数。当我们在它们上构建一些东西时,这些零碎的片段将派上用场!

雅可比矩阵

现在让我们介绍jacobian的概念。Jacobian将帮助我们使用这些偏导数来构建有用的东西。雅可比行列式可以应用于许多问题。由于机器学习和优化问题,经常出现一种情况。具有多个变量的单个函数的雅可比行列式。考虑下面的函数。

机器学习中微积分多元或多元系统的概念

此函数的雅可比将是一个包含函数中每个变量的偏导数的向量。

机器学习中微积分多元或多元系统的概念

让我们看看如何为函数构建雅可比行列式。

机器学习中微积分多元或多元系统的概念

这表明我们具有向量的代数表达式。如果我们给它x,y和z坐标,它将返回指向上述函数最陡斜率的向量。

对于坐标位置(0,0,0),我们得到

机器学习中微积分多元或多元系统的概念

这表明jacobian是在z方向上长度为3的向量。

随着维数的增加,从视觉上实现该函数及其雅可比性变得困难。让我们尝试在2D空间中以图形方式可视化函数。

机器学习中微积分多元或多元系统的概念

这里的彩色区域是z的值。较亮的区域表示z的较高值,较暗的区域表示z的较低值。

在3D空间中,z的值为高度。

机器学习中微积分多元或多元系统的概念

就像我们之前说的那样,雅可比表示函数的斜率。斜度越大,雅可比值越大。

现在,让我们以等高线图的形式查看该图。我们沿着相同高度的区域制作线,这意味着z的值相同。

机器学习中微积分多元或多元系统的概念

查看这四个区域,并尝试分辨哪个具有最高的雅可比的值。

在其顶部绘制雅可比矢量,我们看到所有这些矢量都指向更明亮的区域。雅可比最大的值是在线条密集的点,即点A。在其他任何位置、峰、谷底和平原区域,它的值都较小。

机器学习中微积分多元或多元系统的概念

这给了我们一个想法,即我们正在谈论的所有数学实际上在空间中都是有意义的。这也使我们有信心在进一步学习中占据更高的空间。

总结:

在机器学习微积分的第2部分中,我们讨论了多元系统。我们之前在单变量微积分中应用的偏微分如何应用于多变量函数。我们还学习了雅可比矩阵以及它如何帮助我们从偏导数中得到一些有用的东西。在后续的文章中我们将考虑更多关于微分的东西。


分享到:


相關文章: