轉行人工智慧,不得不溫習的數學知識點

人工智能的浪潮從2012年開始至今,席捲全球,幾乎是家喻戶曉的詞彙。同時,人工智能也是多學科交叉的領域,涵蓋了專家系統、機器學習、進化計算、模糊邏輯、計算機視覺、自然語言處理、推薦系統等諸多領域。

轉行人工智能,不得不溫習的數學知識點

人工知識體系框架

目前我們所研究和應用的,是專用人工智能(或稱為弱人工智能、感知人工智能);與專用人工智能相對的,是通用人工智能。專用人工智能階段的智能體僅在特定領域有效果,比如AlphaGo在圍棋領域戰勝人類,但在象棋等其它棋類遊戲中,用相同的程序就無法實現比較好的效果。而人類這一通用人工智能的智能體,不僅可以識人辨物,還會下象棋、打撲克或者麻將,不限於特定領域。

機器學習:一種實現人工智能的方法

當下專用人工智能的突破,歸功於機器學習。但是,機器學習僅僅是實現人工智能的一種或者一類方法,並不是全部,這一點希望大家有清晰的認識。

機器學習從上個世紀50年代發展至今,衍生出了很多熱門的研究子領域,以21世紀為例,先後經歷了流形學習、稀疏學習、深度學習、深度強化學習、遷移學習等數個熱點。甚至直到現在,學術界對於機器學習都沒有完全統一的定義。

機器學習數學基礎

總體來看,機器學習涵蓋了微積分、概率論與數理統計、線性代數、矩陣論、信息論、優化理論等數學基礎。近期,專注於人工智能在線教育的深藍學院,聯合南京大學計算機科學與技術系博士生與中科院自動化所博士,共同推出『機器學習數學基礎』在線課程,課程大綱分享給大家,包含了機器學習涉及到的主要數學知識點。

Chaper1:引言

數學之於機器學習的必要性和重要性

Chaper2:函數求導

1. 背景介紹:以誤差逆傳播(BP)算法為例

2. 函數的極限

3. 偏導數,方向導數,梯度

4. 複合函數求導的鏈式法則

5. 案例分析:BP算法及其應用(以手寫數字識別為例)

Chaper3:矩陣論

1. 背景介紹:以線性迴歸為例

2. 矩陣概念與運算

3. 矩陣範數

3.1 範數定義

3.2 Lp範數

3.3 最小二乘迴歸誤差度量

4. 矩陣的行列式、逆、秩和跡

4.1 求解線性方程組:高斯消去法

4.2 矩陣的逆

4.3 線性空間及其基

4.4 方程組求解的行列式表達

4.5 矩陣偽逆

5. 矩陣的特徵值和特徵向量

5.1矩陣特徵值定義

5.2 矩陣的跡和行列式與特徵值的關係

6. 奇異值分解

6.1 矩陣奇異值的定義

6.2 矩陣的奇異值分解

7. 矩陣求導

7.1矩陣導數的定義

7.2 矩陣導數對最小二乘的應用

8. 矩陣二次型與半正定

8.1 矩陣二次型

8.2 矩陣半正定的定義

8.3 最小二乘的半正定視角

9. 案例分析:線性迴歸及其應用(以前列腺癌發病率預測為例)

Chaper4:凸優化

1. 背景介紹:以SVM為例

1.1 優化背景介紹

1.2 SVM應用案例

2. 優化問題與極值

2.1 優化問題及其標準型

2.2 優化問題的極值點

2.3 拉格朗日函數及KKT條件

2.4 SVM的最大間隔的數學表達

3. 凸優化基礎

3.1 凸集與凸問題

3.2 凸函數與琴生不等式

3.3 保持凸性的運算

3.4 SVM的凸性分析

4. 對偶理論

4.1 對偶問題

4.2 強對偶

4.3 SVM的對偶求解

5. 案例分析:SVM及其應用(以Iris數據集分類為例)

Chaper5:概率論與數理統計

1. 背景介紹:以樸素貝葉斯為例

2. 隨機變量,概率分佈(離散隨機變量,連續隨機變量)

3. 聯合概率,邊緣概率,條件概率,貝葉斯定理

4. 期望、方差/標準差、協方差

5. 不等式(切比雪夫不等式等)

6. 獨立性,條件獨立性,相關性

7. 常用分佈:二項分佈/Bernoulli分佈分佈(特例),多項式分佈/Multinoulli分佈(特例),均勻分佈(離散/連續),高斯分佈,指數分佈

8. KL散度

9. 極大似然估計

10. 案例分析:樸素貝葉斯及其應用(以乳腺癌診斷和信用風險評級為例)

Chaper6:信息論基礎

1. 背景介紹:以決策樹為例

2. 信息論中的基本概念I:離散隨機變量(熵、聯合熵、條件熵、互信息、相對熵,以及相互之間的關係)

3. 信息論中的基本概念II:連續隨機變量(微分熵、交叉熵、多元高斯分佈的熵)

4. 案例分析:決策樹及其應用(以乳腺癌診斷和信用風險評級為例)


轉行AI的建議

(1)人工智能人才的缺口,更多地在於高端人才,而不是調參工。

這就要求我們在學習機器學習時,不僅要知其然,更要知其所以然,通俗點講,對於每個機器學習算法,僅僅會調用現成的函數庫是不行的,要了解算法背後的原理,親自推導一遍,親自寫代碼實現這個算法,效果最佳。

(2)等學習完數學知識後,再學習機器學習的做法,未必可取。

機器學習涉及的數學知識點很多,在實際學習過程中,如果我們一味地學習數學,很容易枯燥厭煩,進而堅持不下來。

轉行人工智能,不得不溫習的數學知識點

機器學習數學基礎

最好的做法是,將數學與機器學習內容高度融合,學習完幾個知識點後,接著學習這些知識點對應的機器學習相關算法,會讓我們信心倍增。


分享到:


相關文章: