機器學習數學-矩陣


機器學習數學-矩陣

我們從線性代數在開始第1部分和第2部分。我們瞭解了向量和矩陣,以及它們如何在機器學習中提供幫助。讓我們從剩下的地方開始討論,並涵蓋機器學習數學第3部分中有關矩陣的一些剩餘詳細信息。

逆矩陣:

我們將從該系列的前2部分討論的問題開始機器學習數學的第3部分。蘋果和香蕉的問題,最終將設法找到解決方案。

假設我第一次去商店時花8元買了2個蘋果和1個香蕉。在另一次訪問中,我以13元買了10個蘋果和1個香蕉。

我們將其記為矩陣乘以向量。我們將矩陣稱為A,將輸入向量稱為r,將輸出向量稱為S。

機器學習數學-矩陣

現在,考慮矩陣A -1。當我們將此矩陣與原始矩陣A相乘時,它將得到一個單位矩陣。這是矩陣A的逆。A -1顛倒A並給出一個單位矩陣。

機器學習數學-矩陣

因此,如果我們得到矩陣的逆,我們可以得到向量a,b的值,最後解決香蕉和蘋果問題。

現在,讓我們繼續學習身份矩陣。

我們實際上可以通過替代解決此問題。請看下面的例子。

機器學習數學-矩陣

這表明c = 2。另外,請注意,現在我們得到了一個特殊的矩陣,該矩陣的所有零均位於對角線以下。從這裡開始,我們可以採用替代方法來進一步解決我們的問題。

現在,從上面兩行中減去第3行,即c值。第一行取c的3倍,第二行取c的一個。

機器學習數學-矩陣

我們終於得到了解決方案。1個蘋果5元,1個香蕉4元和1個胡蘿蔔2元。

因此,我們從消除開始,然後進行反向替換以得到解決方案。

這裡要注意的一件事是,我們實際上已經將矩陣最後更改為一個單位矩陣,以得到解。這使我們回到開始討論的矩陣逆矩陣。

讓我們找出如何找到任何矩陣的廣義解,以及如何將消除應用於通過矩陣逆求解問題。

考慮,我們有一個3×3矩陣A,它是逆B,它們相乘在一起就得到一個恆等矩陣I。

機器學習數學-矩陣

現在,將矩陣A與矩陣B的第一列相乘將得出恆等矩陣的第一列或向量。類似地,矩陣A與B的第二矢量或列的相乘將得到單位矩陣的第二列,B與A的第三列相乘將得到單位矩陣的第三列。

現在,嘗試立即執行此操作!通過在矩陣的第二行和第三行取第一行。

這將給出:

機器學習數學-矩陣

如您所見,我們已經將A修改為單位矩陣(僅通過消除和反向替換),而我實際上是A -1的答案。或矩陣B。

因此,我們得出結論,將A乘以A逆將得到一個恆等矩陣。

您可能之前已經以其他方式做到了。但是在這裡,我們以一種通用且計算速度更快的方式解決了它。特別是如果我們要處理更大的尺寸。廣義上來說,它不取決於右側的矩陣。

行列式和倒數:

現在,讓我們看看稱為行列式的矩陣的屬性。

考慮矩陣

機器學習數學-矩陣

我們所做的是,已將軸水平縮放為因子a,垂直縮放為因子d。正方形多少會縮放為矩形。實際上,所有空間都按因子廣告縮放。我們可以說這是變換矩陣的行列式。如果我們採用另一個矩陣

機器學習數學-矩陣

現在,正方形變為平行四邊形,但是比例因子仍然是ad。平行四邊形的面積。基數乘以高度。

如果我們有一個通用矩陣,

機器學習數學-矩陣

現在讓我們找到此平行四邊形的面積。參見下圖。驗證是否喜歡,但區域為ad-bc。

機器學習數學-矩陣

以前,您可能像這樣計算矩陣的逆:

機器學習數學-矩陣

這告訴我們,將A與A的逆數相乘得到一個單位矩陣。因此,您一直做對了!

因此,行列式是我們需要將逆矩陣除以什麼,以使逆矩陣正確地成為逆矩陣。

現在,我們如何計算矩陣的這些行列式值?如今,我們實際上不需要學習計算步驟。MATLAB和Python庫將為您完成此任務。但是,如果您真的想學習,則可以考慮QR分解。

繼續看下面的矩陣,

機器學習數學-矩陣

它們沿著同一條線延伸,實際上是彼此的倍數,不是線性獨立的。同樣,它將給出行列式為0,| A |=0。3×3向量也是如此,其中新的基本向量是其他兩個的倍數。封閉或行列式的面積將再次為0。

現在,讓我們繼續講Val Echelon form。考慮下面的一組聯立方程,

機器學習數學-矩陣

我們可以在這裡看到第3行實際上是row1和row2的總和。同樣,第3列是第1列+第2列的兩倍。這意味著此轉換向量沒有描述3個獨立向量。一個是線性獨立於其他兩個。因此,它描述了二維空間。現在讓我們看看如果嘗試將其簡化為Val梯形形式會發生什麼。從第二行取第一行,從第三行取第一行和第二行的和。

機器學習數學-矩陣

這使c等於0。表明我們沒有太多信息來求解聯立方程。

我們已經證明的是,如果描述矩陣的基向量不是線性獨立的,則行列式為0。這還表明,如果我們摺疊空間的尺寸,則將付出一定的代價。在這裡,我們無法找到逆,實際上可以使我們撤消變換矩陣並將其引向原始向量。

因此,事先檢查我們提議作為矩陣變換的新基礎向量的向量是線性獨立的,以便稍後可以撤消變換。

到目前為止,我們已經瞭解了什麼是決定因素以及它如何增長空間。同樣,我們已經看到行列式為0的特殊情況,這意味著基向量不是線性獨立的,這又意味著不存在逆。

愛因斯坦求和矩陣:

寫矩陣變換的另一種方法是愛因斯坦求和矩陣。它記錄了矩陣各組成部分的實際操作,對編碼工作很有用。

我們知道矩陣乘法如下。考慮一個nxn階的矩陣A與另一個nxn階的矩陣B相乘得到矩陣AB:

機器學習數學-矩陣

這使我們的編碼更加容易。只需運行三個循環並累積即可獲得AB。T在計算上很有效,但不是很直觀。

因此,只要矩陣在j中具有相同數量的條目,我們就可以將它們相乘。

3 x 3矩陣乘以3 x 4矩陣。通常所有非方陣。

現在,讓我們根據愛因斯坦求和法重新討論點積。

如果我們有兩個列向量u和v。

讓我們詳細看一下點積和矩陣乘法之間的等價關係。

機器學習數學-矩陣

讓我們看看點乘積e1和u會發生什麼。那是u在e1上的投影。然後e1在u上的投影。然後我們可以有趣地通過投影相交處的對稱線。這種對稱性表明u在e1上的投影與e1在u1上的投影相同。這可以在點積中看到。將u與e1乘以點或將其翻轉將給出相同的答案。現在從幾何上看,為什麼。

對於其他軸e2或任何其他軸也可以證明這一點。因此,點積就像投影一樣對稱,這就是矩陣乘法和投影之間的聯繫。

正交矩陣:

首先讓我們介紹矩陣轉置的概念。為了換位,我們互換矩陣的所有行和列。

A t ij = A ji

考慮尺寸為n×n的方陣A。它定義了一個變換矩陣,其中基礎向量彼此正交併且具有單位長度。

如果i不等於j,ai.aj = 0

如果i等於j,ai.aj = 1

讓我們看看如果將矩陣A與其轉置相乘會發生什麼。

我們得到一個身份矩陣!

A t A =我

這意味著A轉置是矩陣A的有效逆。

相互垂直的一組單位長度向量稱為正交基集。由它們組成的矩陣是正交矩陣。

這也意味著,由於正交矩陣由單位長度的基礎向量組成,因此它會按比例縮放空間。然後行列式為1或-1。向量反轉或翻轉時為-1。

在數據科學中,當我們要轉換數據時,將盡可能使用正交向量的基礎向量。那就是我們的變換矩陣將是正交的。反過來,這意味著逆計算很容易。逆向轉換很容易,因為它不會使空間崩潰。投影僅僅是點積。行列式是1或減1。很多事情都整齊又簡單。因此,從轉置開始,我們發現了最方便的基礎向量集,它是形成正交矩陣的正交基礎向量集!

Gram-Schmidt過程:

讓我們繼續學習機器學習數學第3部分,瞭解如何構建和使用正交基向量集。

假設我們有一個跨越空間的線性獨立向量。

假設我們有一組向量v跨越我們的空間。

v = {v1,v2,v3,…,vn}

取第一個向量並將其標準化,這樣我們的第一個基本向量e為

機器學習數學-矩陣

因此,e1只是v1的規範化版本。

對於v2,我們可以看到v2在e1方向上具有一個分量。因此,如果我們在e1上投影v2,我們將得到,

V2 =(v2.e1)e1 + u2

要麼,

u2 = v2 –(v2.e1)e1

規範化u2將給

機器學習數學-矩陣

那是計算正交基礎的第一部分。

現在,第三個向量v3不是v1和v2的線性組合,並且不在向量v1和v2定義的平面內。

我們可以將v3向下投影到e2和e1的平面中。該投影將是由e1和e2組成的平面中的某些矢量。

u3 = v3 –(v3.e1)e1 –(v3.e2)e2

其中(v3.e1)e1是由e1s構成的v3的組件,而(v3.e2)e2是由e2s構成的v3的組件。

u3是另一個垂直於飛機的人。對u3進行歸一化,

機器學習數學-矩陣


我們可以繼續這樣做,直到我們計算出跨越空間的所有正交基向量。

通過這種方式,w將非正交,非單位向量轉換為單位長度好的正交向量的集合,從而形成了一組正交法向量。

這就是我們構造正交基向量集並使生活更輕鬆的方式!

應用:

現在,讓我們將在機器學習數學第3部分中獲得的知識放到一個示例中,看看它是否真的使我們的生活更輕鬆。

我們要做的是反射一架飛機。如果我們在一些不同的平面上進行反射,矢量就是這樣。換句話說,如果鏡子以某種滑稽的角度出現,貓在鏡子中的反射對我來說會是什麼樣子。

假設我在鏡面上知道2個向量。第三個向量在鏡平面之外。

機器學習數學-矩陣

機器學習數學-矩陣

現在,定義新的轉換矩陣E

機器學習數學-矩陣

現在考慮一個向量r,我們想要通過正交向量的平面向下反射到r'。

這裡有趣的是向量r將由一些向量e1和與其垂直的一些向量e3組成。向下的位只是e3的負數。

以e為底的轉換矩陣將由e1,e2和e3的負數組成,

機器學習數學-矩陣

這是在平面上的反射。

因此,如果我們在平面的基礎向量中獲得了這裡為基礎E的向量,則可以進行反射。然後,我們可以將其放回基本向量集中,以獲得完整的變換。

將r轉換為r'實際上遵循以下步驟

機器學習數學-矩陣

這將我們的問題簡化為矩陣乘法。我們將所有值都進行計算!

您可以在這裡看到,一旦考慮了反射鏡的平面和垂直於反射鏡的平面,就很難通過三角函數解決一個問題。

總結一下,我們看到了關於向量和矩陣的所有有趣的應用,它們反映了空間中的一個點。

我們可以找到它在神經網絡中的直接應用,在神經網絡中,我們可能希望對面部識別進行一些思考,


分享到:


相關文章: