12.21 正態分佈(高斯分佈):大概率事件意味著什麼?


正態分佈(高斯分佈):大概率事件意味著什麼?

你好,歡迎來到我的《數學通識50講》。

我們前面講到,泊松分佈描述的是概率非常小的情況下的統計規律性。這一講我們通過學習高斯分佈,也就是正態分佈來正確認識大概率事件。

高斯分佈也叫正態分佈

與泊松分佈那樣的小概率事件相對,如果一個事件A發生的概率非常大,等於或者接近1/2(當p大於1/2時,1-p小於1/2,我們把p和1-p互換,依然只要研究p小於1/2的情況),同時試驗次數n也非常大,會是什麼結果呢?

我們假定事件A經過n次試驗後發生了k次,把k的概率分佈圖畫一下,就得到了一箇中間鼓起,像倒扣的鐘一樣的對稱圖形。

正態分佈(高斯分佈):大概率事件意味著什麼?


這個圖形你一定很熟悉,18世紀,數學家棣莫弗和拉普拉斯把這種中間大,兩頭小的分佈稱為正態分佈。不過,高斯對正態分佈的誤差(也就是標準差������)作出了更嚴格的分析,於是正態分佈今天就被命名為高斯分佈。

我經常講,發明的榮譽常常是授予最後一個發明者,高斯分佈也是如此,因為是高斯為這項發現畫了句號。

高斯對正態分佈的主要貢獻在於,他利用概率分佈的平均值和標準差(高斯實際使用的是方差,但是方差和標準差是完全相關的,今天我們用到更多的是標準差),來定義了正態分佈,這種定義更具有普遍意義。

我們用一個大家並不陌生的例子來說明均值、標準差,和發生概率三者之間的關係。

正態分佈(高斯分佈):大概率事件意味著什麼?


哪個班的成績更優秀?

假如有兩個班,一班的考試成績在60~100分之間變化,均值(平均分)為80分。二班的成績在70~100分之間變化,均值為85分。那我們能說二班比一班成績好嗎?這個問題沒有那麼簡單。

根據我們的經驗,同學們的成績通常分佈在平均分附近的比較多,特別好或者特別差的很少,對於這種情況,我們就可以用正態分佈來刻畫兩個班成績的分佈,並且對它們進行比較。

圖左邊標註了80的曲線是一班的,右邊標註了85的曲線是二班的。從這兩條曲線可以看出,一班的成績有一個很小的可能性超過90分,只是因為隨機性的存在,比如極個別差生乾脆交了白卷,導致整個班的平均分才成為了80分。如果一班真實的平均分應該是90分,而二班依然是85分,我們得說一班反而比二班強了。只不過,這種情況的可能性並不大。

我把這個可能性用藍色畫在了圖中。類似的,二班雖然平均分為85分,但是也存在一個小概率的可能性,它的平均分不到75分,我用綠色在圖中畫出來了。

那麼我們有多大把握說明平均分85分的二班一定比80分的一班強呢?這就要看兩個班成績的平均浮動範圍了,這就是我們所說的標準差。這個數值其實就類似方便麵包裝袋上標的淨重60克,後面還會標一個+-1克,這個1就是標準差。

如果兩個班的標準差都是5分,一班的真實成績也+-5,大致就是在75到85分的範圍內浮動,二班的成績是在80到90分的範圍浮動。在這兩個浮動範圍重疊的部分,我們無法判斷哪個班成績更好。這個重疊區域,即文稿圖中紅色的區域,表示我們無法作出判斷的情況,這個區域的面積,就是我們無法作出判斷的概率。

具體到這個圖中,紅色區域的面積佔了兩條曲線所覆蓋面積的65%。也就是說,有65%的可能性,我們沒法說哪一個班的成績好。或者說,我們只有大約35%的信心,證明第二個班的成績比第一個班好。這種信心通常被稱為置信度。關於置信度,你也可以回顧我的《信息論40講》中第16講的課程。

從這個例子中我們可以看出,兩個班平均分差五分,如果標準差也是5分,我們並沒有足夠的證據說明哪個班成績更好。那麼在什麼情況下能證明,平均分85分的二班,就比平均分80分的一班學得好呢?

那就是減少標準差。當標準差������降低到只有1時,這兩個班成績的概率分佈大致如下圖,重疊的部分只佔面積的5%。這時我們大約有95%的信心說二班比一班好。其實這個很好理解,從分佈圖來看,標準差越大,分佈圖越扁平,重合面積就越大; 標準差越小,分佈越 "瘦高",兩部分的重合面積就越小,我們就越有把握判斷哪個在橫軸上的分數越高。

正態分佈(高斯分佈):大概率事件意味著什麼?


如何減小標準差?

接下來大家可能會問,怎樣才能減小標準差呢?

如果同學們的成績分佈情況不變,提高25倍的統計人數(雖然學校裡沒有這麼大的班),標準差就會從5降低到1左右。

2019年10月份,醫學界發生了一件轟動世界的事情。美國百健公司(Biogen)宣佈他們所研製的治療阿爾茨海默病的藥品Aducanumab在大規模臨床試驗中被證明有效,全世界都為此歡呼。但是僅僅在半年前,他們進行的小規模試驗後的結果卻是藥效不明顯。這又是怎麼一回事呢?

其實半年前的試驗就是因為樣本數量比較少,巨大的標準差掩蓋了藥物相比安慰劑在療效上的差異。而當樣本數量增加後,方差降低了,藥效就看出來了。

可以對比圖中的幾條曲線:綠色的是參照組,黃色的是小樣本試驗的結果,藍色的是大樣本試驗的結果。你可以看出樣本數大了,結果曲線和參照組的重合度就減少了。

正態分佈(高斯分佈):大概率事件意味著什麼?


大家可能會講,標準差������和置信度這些東西我也不會算,能不能告訴我幾個簡單的數字,我在生活中直接用就好了。答案是有的!

如果一個隨機變量的取值符合高斯分佈,它有大約68%的可能性,動態範圍不超過平均值加減標準差������。這時我們說,在一個標準差之內,我們對平均值的置信度為68%。

比如在上面的例子中,一班的平均成績為80分,標準差為5分,於是我們有68%的置信度說,考慮到隨機性的影響,這個班的平均成績應該落在75~85分之間,而不是之外。

如果我們把允許的誤差的範圍放大一點,放大到正負兩倍的標準差,那麼有大約95%的情況,這個隨機變量的動態範圍不超出平均值加減兩倍的標準差,或者說,我們有95%的置信度相信這一點。

做科學實驗時,通常需要有95%的置信度,否則大家覺得不踏實。當然,如果我們進一步擴大誤差範圍到三倍的������,那麼置信度就提高到99.7%。在要求極高的實驗中,我們甚至會要求更高。

這個規則適合於任何高斯分佈,我們通常稱之為“三������原則”或者“68-95-99.7原則”。平時大家記住帶有隨機性質的結論,需要有95%的置信度就好了。我把上述三種情況畫在了下面的圖中,可以看一眼下面下圖,獲得一個感性的認識。

正態分佈(高斯分佈):大概率事件意味著什麼?


大家同時也注意一下,圖中曲線和x軸之間的面積,就是曲線的積分,面積的大小就代表了高斯分佈在某個範圍內的概率。

舉例應用:

瞭解了標準差和置信度的關係,我們就拿它來分析一個例子。這個例子是關於股票投資的,我們以美國的股市為例來說明。

在過去的半個世紀裡,標準普爾500指數的增長率大約是每年7%~8%左右,但是你知道它的標準差有多大麼?高達16%左右。這說明股市的波動性特別大。有人可能會問為什麼標準差會大於回報率,因為在不少年頭,回報率是負的。

可以看下圖,你會發現7%~8%的平均回報完全被淹沒在巨大的正負誤差波動中了。通常,金融領域的人會將這種標準差直接稱為風險。

正態分佈(高斯分佈):大概率事件意味著什麼?


這個事實說明,其實我們對於大概率事件,往往是視而不見的,而風險其實就存在其間,我有三點結論要詳細說明。

首先是股市的風險要遠遠高出大部分人的想象,這不用多說了,一張圖勝過千言萬語。美國的標準普爾500指數,是世界風險最低,回報最高的投資工具,而且是500個表現很好的股票的平均值,收益和風險之比尚且如此,其它的投資風險就更高得多了。因此,大家在投資時如何小心都不為過。

其次,由於任何一種投資都有標準差(風險),因此對比投資回報時要把它考慮進去,不能只考慮回報不考慮風險。

比如投資A的回報是10%,風險是20%,投資B的回報是5%,風險是3%。不能光看10%比5%高,就認定投資A比B好,要橘子和橘子對比,蘋果和蘋果對比,在相同風險條件下對比。事實上在做投資時,A、B這兩種投資恰恰是很好的具有互補性的工具。

當然,對於回報總是大於零的債券和存款(先不考慮歐洲的負利率),很多人會覺得是零風險的,其實這種看法也是錯的。因為那些投資在計算回報時沒有考慮通貨膨脹的因素,如果你存款的回報是3%,而通貨膨脹可能達到5%,這就是風險。

事實上,全世界所有的國家都刻意低報通貨膨脹率,因為房價的上漲是不算在通貨膨脹內的,而它恰恰可能是造成通脹的重要原因。

最後,如果有一隻股票連續三年的回報是10%,另一隻只有5%,你能說第一隻比第二隻好嗎?不能,因為5%的差異,要遠比16%的標準差小很多,事實上個股的方差比股指更大。換句話說,這5%的差異更可能是市場浮動的隨機性造成的。

事實上,美國每年漲幅最好的10只股票、10個基金到了第二年表現都會跌出前十名。因此,不要以為自己的投資回報在幾年裡超過了股市大盤,就覺得自己是股神。

要點總結:

我們通過介紹高斯分佈,說明了兩個隨機變量均值的差異和偶然性之間的關係。

由於偶然性的存在,如果只有很小的均值差異,那可能說明不了什麼問題。我們還介紹了著名的3������原則,大家記住有隨機性的結論,需要有95%的置信度就好。

下一講,我們一起研究一下貝葉斯公式,下一講見。——吳軍《數學通識五十講》


分享到:


相關文章: