算法數學基礎-條件概率、全概公式、貝葉斯公式

上一節我們梳理了概率與梳理統計中部分核心概念,這講繼續。

例題分析:將n只球放到N個盒子中(N>=n),試求每個盒子放一個球的概率是多少?

樣本空間:n個小球放到N個盒子中有多少種方法,每個球都有N種方法,一共有N*N*N...N,n個球;

A事件:每個盒子放一個球的放法,N*N-1*N-2...N*(N-n+1)

P(A)就為兩式相除。

以上是古典概型的簡單應用,當然可以結合概率的性質解更為複雜的問題,比如把A變成AUB,用加法公式結合古典概型應用。不做過多的複雜講解,迴歸概率的整體脈絡,我們針對問題具體分析就好,關鍵要用對模型。

今天講另外幾個重點的概念:

1、條件概率:故名思意,就是討論在某種條件下發生的概率。這個概念是應用最多的、最廣的。人工智能中很多重要的算法都與條件概率的概念及性質的應用有密切關係。數學定義:P(B|A)=P(AB)/P(A)(用韋恩圖很容易看出來這個關係,同樣的由對稱性可知,P(B|A)=(PAB)/P(B))。同樣條件概率滿足概率定義下得出的非負、規範、可列可加性。從這裡開始,概率論開始變複雜了。

2、乘法定理:乘法定理就是在定義的基礎上的公式變形,P(AB)=P(B|A)P(A)。別看這個簡單的變形,是後續一系列重要定理的原點。定義推廣到多個事件,得到形式P(ABC)=P(C|AB)P(B|A)P(A)。可以看到ABC同時發生的概率依賴關係,這個就是乘法公式。三個因素互相作用的系統中,某個現象出現不光要考慮單個因素髮生的概率還要考慮到多個因素聯合約束下的影響。這就是條件概率蘊含的深層次思想,它考慮到了關係之間的聯合作用。

3、全概率公式:先看定義,如果一個樣本空間為E,B1...Bn為一組事件(注意不是單個樣本點劃分,而是一組事件劃分),也就是將樣本空間這個集合進行劃分,如果B1...Bn之間沒有交集,並且B1UB2..UBn=E,那麼E中一個事件A的概率可以表示為P(A)=P(A|B1)P(B1)+...P(A|Bn)P(Bn)。橫向類比,B1..Bn像不像線性代數里面的向量空間的基!空間中任何一個向量(A)都可以由其基來表示。拿擲色子來舉例,E={1,2,3,4,5,6},我們將其劃分為兩個集合(基本事件)B1={1,2,3,4},B2{5,6}滿足定義,那麼A={3,4,5}這個事件的概率P(A)=P(A|B1)*P(B1)+P(A|B2)P(B2)來表示。要解這個公式需要知道的信息很多,所以全概率公司的最重要的作用不在於求,而是在於推導出另外一個非常重要的公式,貝葉斯公式!!貝葉斯公式!!貝葉斯公式!!

4、貝葉斯公式:P(Bi|A)=P(A|Bi)P(Bi)/P(A)。貝葉斯公式可以這樣理解,以5月份醫院診斷病例為例子,A代表症狀,Bi代表疾病。我們知道某個人咳嗽,可能是感冒了(B1)、可能是肺炎(B2)、可能禽流感(B3)等等有很多病的臨床表現都會咳嗽。通過醫院以往的病例我們知道,感冒情況下有咳嗽症狀的概率P(A|B1),肺炎情況下咳嗽的概率P(A|B2),禽流感情況下咳嗽的概率P(A|B3),同時我們知道比如在夏天感冒的概率P(B1),肺炎的概率P(B2),禽流感的概率P(B3),這樣我們就可以分別計算P(A|B1),P(A|B2),P(A|B3)的概率,從而比較哪個概率比較大那麼得某個疾病得可能性就最大。(哈哈哈,不知道大家看明白,醫生看病的例子是最直接的。但是要注意,應用貝葉斯公司的時候需要注意全概率公式中的條件,B1..Bn相互獨立,並且構成樣本空間的一組基)

算法數學基礎-條件概率、全概公式、貝葉斯公式


分享到:


相關文章: