以丟硬幣為例。每丟一次硬幣，便產生一個隨機變量X，那麼，我們一次又一次地丟下去，便產生出一系列的隨機變量X
1、X2……Xi……。一般而言，數學家們將一系列隨機變量的集合，稱之為“隨機過程”。
隨機過程中的隨機變量Xi，在上例中是第i次投丟硬幣的結果，也可以理解為時間ti的“函數”，這也就是稱其為“過程”的原因，時間離散的過程，有時也被稱為“鏈”。
丟一次硬幣產生一個取值為1或0的隨機變量X，接連丟下去產生的（取值1或0）的一系列隨機變量的集合，被稱為伯努利過程。
伯努利過程也不僅僅用以描述拋硬幣的隨機過程，擲骰子也可包括在內，可推廣到任何由互相獨立的隨機變量組成的集合，換言之，伯努利過程是一個離散時間，離散取值的隨機過程。隨機變量的樣本空間只有兩個取值：成功（1）、或失敗（0），成功的概率為p。例如，擲一個6面對稱的骰子，如果將“3”出現的概率定為成功的話，則多次擲骰子的結果是一個p=1/6的伯努利過程。
馬爾可夫鏈
雖然多次拋硬幣也構成隨機過程（如上述的伯努利過程），但這種過程比較乏味，因為每次拋的結果都是互相獨立的，且正反兩面的概率永遠是（50%，50%）。即使推廣到擲骰子，每一個面出現的概率不是50%了，但仍然是一個固定的數值：1/6。並且，每一次的“拋硬幣”或“擲骰子”都是各自獨立互不依賴的，這種獨立性是構成之前所介紹的“賭徒謬誤”之所以是“謬誤”的基礎。
然而，事實上在自然界以及社會中存在的隨機變量之間，往往存在著互相依賴的關係。比如說，考慮明天北京下雨或天晴的可能性，不一定是與拋硬幣那樣各一半的幾率，並且一般來說還與北京今天、昨天、前天……或者好多天之前的氣候狀況有關。
圖3-1-1：典型的馬爾可夫過程（簡單氣象模型）
如果我們不考慮得太複雜，假設明天下雨概率只與今天天氣有關的話，便可以用一個如圖3-1-1a的簡單圖形來描述。圖3-1-1中表示的氣候模型只有簡單的 “雨”和“晴” 兩種狀態，兩態之間被數條帶箭頭的曲線連接。這些連線表示從今天的天氣狀態，如何預測明天的天氣狀態。
比如說，從圖3-1-1a中的狀態“雨”出發有兩條連線：結束於狀態“晴”的右邊那一條標上了“0.6”，意思是說：“今天雨明天晴的概率是60%”；左邊曲線繞了一圈又返回“雨”，標識0.4，即“明天繼續下雨的概率是40%”。可以類似地理解從狀態“晴”出發的兩條曲線：如果今天晴那麼明天有80%的可能性晴，20%的可能性下雨。隨機過程中所有可能狀態之集合（雨、晴）構成隨機過程的“狀態空間”。
上述例子是一個典型的最簡單的馬爾可夫鏈，以隨機過程開創者，俄羅斯數學家安德烈·馬爾可夫（Andreyevich Markov，1856年－1922年）得名。
馬爾可夫鏈是具有馬爾可夫性質的離散隨機過程，序列參數和狀態空間都是離散的。所謂馬爾可夫性質，也被稱為“無記憶性”或“無後效性”，即下一狀態的概率分佈只由當前狀態決定，與過去的事件無關。
像前面所舉氣象的例子中，明天“晴”或“雨”的概率只與今天的狀態有關，與昨天之前的氣候歷史無關。除了用圖形來表示馬爾可夫鏈之外，上述例子中明天和今天“雨晴”概率之關係也可以用圖3-1-1b的矩陣P來描述，稱之為轉換矩陣。矩陣或圖像中的幾個數值，表示系統演化“一步”後，即今天到明天，狀態之間的轉移概率。當P表示轉換矩陣時，狀態便是一個矢量，比如說，圖3-1-1b中，今天的狀態被表示為一個分量為0.3和0.7的矢量，意思是說，今天下雨的概率為30%，天晴的概率為70%，明天的狀態則由P乘以今天狀態而得到。
圖3-1-2：時齊馬爾可夫鏈
轉移概率不隨時間而變化的馬爾可夫過程叫做時齊（時間齊次）馬爾可夫過程。比如說，如圖3-1-2所示，假設北京每天天氣的“晴雨”狀態都由前一天的狀態乘以同樣的轉換矩陣P而得到，那就是一個時齊馬爾可夫鏈。通常考慮的馬爾可夫過程，都被假定是“時齊”的。
極限概率分佈（股票市場模型為例）
給定了系統的初始狀態X0和轉移矩陣P，便可以逐次求得馬爾科夫鏈中之後每一個時刻的狀態：X1、X2…Xi…。有時候，人們感興趣於那種長時間後逐漸趨於穩定狀態的馬爾科夫過程。與級數序列逼近收斂到某個極限值類似，馬爾科夫鏈最後也可能逼近某一個與初始狀態無關的極限概率分佈狀態，稱之穩態。下面以一個簡單的股票市場馬爾可夫模型為例解釋這點。
假設一週內的股票市場只用簡單的3種狀態表示：牛市、熊市、停滯不前。其轉移概率如圖3-1-3所示。
圖3-1-3：極限概率分佈（股票市場例子）
當時間足夠大的時候，這個馬爾可夫鏈產生的一系列隨機狀態趨向一個極限向量，即圖3-1-3中右下角所示的矢量。這個矢量Xlimit = [0.47, 0.3, 0.23]描述的狀態是系統最後的穩態，是系統的極限，稱為穩態分佈向量。
在股票市場的例子中，存在穩態分佈向量意味著：按照這個特例中的模型，長遠的市場趨勢趨於穩定，即任何一週的股票情況都是，47%的概率是牛市，30% 的概率是熊市，23% 的概率是停滯不前。
（摘自《從擲骰子到阿爾法狗：趣談概率》，作者：張天蓉）
閱讀更多 原點閱讀 的文章
