陳明輝
自然語言處理需要的一些基礎的數學知識如下：
1.基礎概率論
這個大致就是投骰子的時候發生的一些數學，或者預報天氣的時候發生的一些數學。當然你需要知道聯合概率表示兩個事件共同發生的概率，而條件概率是已知x發生的情況下，y的發生概率。還有就是你需要知道概率論中的期望與方差等基礎概念。
2.貝葉斯法則
這個貝葉斯法則在自然語言處理中非常重要。它的大概意思是說，後驗概率可以用似然概率與先驗概率來表示。
3.信息熵的概念
你需要了解一個隨機變量的信息熵。信息熵是不確定性的度量。另外你還要掌握聯合熵與條件熵的定義。尤其是你要知道所謂的相對熵，這個又叫做KL距離。
4.尋找最優解
這部分是算法的基礎。這裡最典型的需要掌握的知識是梯度下降法——這是收斂到最優解的好辦法。
分享到:
