信息論的奠基之作

1687年7月5日，牛頓的《自然哲學的數學》首次出版發行，引爆了整個學術圈，從此奠定了他的江湖地位，而這本書也奠定了現代科學的範式。

1948年，香農發表了一篇英文名為《A Mathematical Theory of Communication》的論文，翻譯過來就是《通信的一個數學原理》，這篇論文引起了巨大的轟動。要知道一篇專業的學術論文被引用1000次已經是非常了不起了，而香農的這篇文章至今已經達到了110536次，可見其在學術圈的江湖地位。

幾年後，這篇論文要成書發行，已經更名為《The Mathematical Theory of Communication》，翻譯過來就是《通信的數學原理》。這就意味著它已經被認為是信息論的奠基之作，這就好比《自然哲學的數學原理》在物理學界的起到的作用，而香農之於信息論，就像牛頓之於物理學。那這個香農是何許人？

今天，我們就來聊一聊：香農和他的《通信的數學原理》。

震驚世界

克勞德·艾爾伍德·香農1916年出生於美國密西根州的蓋洛德鎮。當時正值電氣時代蓬勃發展，電報十分發達，不過電話還尚未普及，電話的價格還相對比較昂貴。於是，很多人把牧場的刺鐵絲網彼此相連，並自己安裝電話送話器，在很小的範圍內實現了通話。

香農就是在這樣的氛圍下長大的，他從小就喜歡發明和玩耍，尤其愛擺弄一些機械裝置，他尤其鍾愛摩爾編碼，常常利用編碼發送訊息。後來，16歲的他進入了密歇根大學就讀電氣工程和數學。1936年，20歲的香農輾轉來到麻省理工學院作為研究助理，跟隨當時的工程院院長萬內瓦爾·布什。

那個時候，香農主要做的是操作一臺數百噸重的機器，這臺機器叫做：微分分析機。

在每天繁複的工作中，香農發現：

機器中開關的切換，本質上並不是在傳輸電流，而是在傳輸狀態。

或者說，也可以理解成是在傳輸一個事實，或者一個信息。

具體來說是這樣的，當時微分分析機的控制器一共有兩種開關，一種是普通的開關，另外一種是特殊的開關叫做繼電器。這是一個由電直接控制的開關。那這個繼電器有什麼用呢？

香農發現繼電器從一個電路向下一個電路傳遞的，並不是真的電，而是一個事實，也就是電路是閉合還是斷開的事實。

於是，他就開始思考是不是任何電路都可以通過一套表達式來表示。在他的表達式裡只需要2個數：0和1。

0代表閉合電路，而1代表斷開電路。

然後，他開始推演，從最簡單的開始，先對帶有兩個開關的電路進行分析，如果是串聯電路就能對應：邏輯連接詞“

除此之外，他設計了一個基於二進制的邏輯電路，僅僅依靠繼電器和開關就可以實現兩數的求和。於是，他發表了他的碩士論文《A Symbolic Analysis of Relay and Switching Circuits》。可以說是一戰成名，這篇文其實就是未來計算機革命的核心。它被譽為20世紀最重要的論文之一。

之所以香農可以這麼做，其實是基於兩點：模塊化和等價性，這後來也成為了現代計算機設計的兩大核心思想。

模塊化其實我們可以理解成把複雜問題簡單化的過程，香農發現任何一個複雜問題都可以無限拆分下去。比如：要實現一個微積分運算，我們可以把這個複雜的計算拆解成若干個加、減、乘、除，再變成更加單的邏輯運算。

其次，模塊化的前提是等價性。我們可以這麼理解：

這裡再補充一下，可能很多人都不太明白為什麼二進制就可以實現這些操作，這實際上和摩斯電碼是一個道理的。

我們常常看到電影裡有人在敲一個機器，用“·”和“-”來表示信息，很遠處的人就知道了具體的意思。這是因為他們有一張對照表，通過這張表比對一下就知道了對方都說了些什麼。

我們其實還可以想象一下古代的烽火臺。古代的傳遞敵軍來了，靠的不是嘶吼，而是烽火。“敵軍來了”=“烽火”，這實現了一次編碼的過程。

二進制也是同樣的道理，只是這裡把烽火換成了二級制而已，然後通過彙編語言實現編碼。

信息論之父

我們說回到香農，二進制的邏輯電路其實已經足夠讓香農彪炳史冊的了，不過他們並沒有放下繼續科學研究的念頭。隨後，他把他的研究運用到了遺傳學上，撰寫了一篇《理論遺傳學的代數》，只可惜他後來並沒有發表這篇論文。

博士畢業之後，香農來到了大名鼎鼎的普林斯頓高等研究院，成為了一名研究員。在這裡的科學家在科學史上都是大神，比如：愛因斯坦和馮諾依曼。

在與眾多的偉大科學家交流過程中，香農對於構建一套信息論的想法逐漸成形。

可能你要問為什麼要構建一套信息論？這要從文字說起，在文字出現之前，我們用事實累計經驗來描述生活，比如：老虎來了，那就趕緊跑。

而後來，文字出現之後，我們可以用文字記述。可問題就來了，文字是需要被思考和推敲的，越來越多人在文字中找到了悖論，比如：白馬非馬。

隨後，科學家開始動用數和幾何學，把大自然進行量化。而這方面的先驅就是牛頓。

他認為構建一套理論體系，首先要對研究對象進行定義和量化。在他之前“力”“質量”“運動”甚至是“時間”都是意義模糊的。而牛頓改變了這一切，他把研究對象都進行了精確地定義和量化，這當中使用的正是數學語言，即數和幾何學。

如果你有機會去翻《自然哲學的數學原理》，你就會發現牛頓並不是一開始就上來講牛頓三大定律，而是前20多頁都在下定義。

所以，牛頓的偉大之處不僅在於他的三大定律和萬有引力定律，而在於他奠定了現代科學的研究範式。麥克斯韋把數學引入了電磁學，終成電磁學的集大成者。而愛因斯坦則上打破了牛頓體系，利用黎曼幾何構建了廣義相對論。而他們做的都只是在物理層面。

我們都知道世界是由物質、能量、信息構成的。牛頓為首的物理學家們搞定了物質和能量的科學化，信息理論卻遲遲無法科學化。

而打破僵局的人正是香農。他對信息做出了嚴格的定義，並且他也提出了信息論的三大定律，後人稱之為香農定律。

那香農定律到底說了些什麼呢？

信息本質是不確定性？

其實對信息進行量化，或者說要衡量一個信息的信息量大小其實還是挺難想象的。每回我讀到香農定律的時候，我都會有一種匪夷所思的感覺。因為香農的洞見太過反常識，又太符合20世界科學發展的基調了。他認為

一個東西的信息量大小在於它克服了多少不確定性。

這句話如何理解呢？

為了幫助你理解，我來舉一個生活中很常見的例子。我們當中大多數的人生活都極其規律，就比如說：我。每天就兩點一線，準時上班，準時下班，要麼在公司，要麼在家。即使我不告訴你，我在哪裡。你也能夠大概猜到，反正就是二選一。所以，我告訴你的信息其實意義不大，因為我的位置信息對你而言不確定性很小。

可是如果有個人天天在全世界各處出差，他的位置信息對你來說就是一種不確定性，那這個信息的價值就很大。

可能你還不太能夠理解，我們再來舉兩個例子：

很多人都愛看電影，尤其最近特別火爆的復仇者聯盟4，為此很多人凌晨0點就去看第一場，這是為什麼呢？

從第二天的走勢上看，如果你沒第一時間跑去電影院看，那你一定會被劇透。所以，你可以思考一下這個過程，其實復仇者聯盟4的劇情對你來說是不確定性很高。而當你被劇透了之後，你已經知道了劇情的走勢，這個不確定性降低了，這時候還是復仇者聯盟4這部電影，其實你就不會那麼著急去看了。

這也和近些年很多人喜歡看無限反轉的劇是一個道理，因為之前有很多劇你看了開頭就能猜到結尾，它的不確定性就很低，而無限反轉的劇，每次都能夠給你驚喜，這個價值就很大。

所以，香農認為，

一個東西的信息量大小在於它克服了多少不確定性。

不過話說回來，我們常常感嘆：信息量好大。其實會有信息量很大的感覺是因為你看到的信息對你來說不確定性很大的，所以你會有如此的感覺。如果全篇都是1+1=2這類的計算式，你可能壓根不會覺得信息量有多大。

剛才，我們也說到，要提出一套信息論，其實就需要把信息和數學結合到一起。所以，為了量化信息，他提出了兩個概念：信息熵和比特。

信息熵其實是借用了物理學裡“熵”的概念，“熵”在物理學裡主要是指一個系統的混亂程度。而我們之前也說過信息量的大小取決於不確定性，是不是和混亂程度很像呀？所以，香農相當於借用了“熵”的概念。而信息熵其實描述就是：

一條消息中出現的所有的字符，把它們進行加權平均。

公式如下，其實只是初中水平的計算，瞭解一下即可。

而它的單位是：比特。

所以，如果一定要用一句話概括信息熵：

可供選擇的範圍越廣，選擇的信息了越大。

這其實就是香農第一定律。

克服噪聲的辦法：增加冗餘

當然，香農的洞見還不止“信息熵”這一個，他提出了一個通信模型。

在這個模型中，噪聲是無法被我們忽略的存在。為了解決遠距離通信中信息失效的問題，工程師只能一次次放大信號，但這隻會導致噪聲的逐漸積累，但噪聲始終不能消除。

香農想到了一個降噪的辦法：增加額外的字詞。

想要通俗地瞭解這個概念，還要從非洲的鼓手們說起，科學家發現非洲南部的人常常用鼓來傳遞信息，甚至會用鼓來說話，比如：一個女嬰降生了，這個通知翻譯過來是這樣的：

你可能會很納悶，為什麼要這樣？其實他們之所以增加這麼多沒有用的字詞，就是為了把意思表達的更清楚。這是因為鼓聲在傳遞過程可能會被噪音所幹擾，或者有些聲音對應的字詞十分接近，不好區分。而如果加上額外的字詞，就能夠鎖定要表達的意思。

而香農認為，如果要發送一個確定的信息，或者說不讓信息在傳輸過程中失效，就可以用類似方法，通過增加額外的字詞，也可以叫做增加冗餘度，來實現降噪。

這其實就是香農第三定律。

香農在山上等你

“帶寬”其實是我們現在經常說起的一個詞，我們都知道帶寬越大越好，那帶寬可以無限增大麼？要理解問題，我們要先知道帶寬到底是什麼意思？我們都知道信號是一個波形，不是一條直線，所以它就要佔據一個有寬度的通道。這個佔據的寬度就是帶寬。也就是說：

要知道頻率越高，所承載的的信息量就越大，這樣其實速度就會越快。

但是如果一個地區同時在用網絡的人很多，每個人能夠分配到的帶寬（頻率的範圍）就是有限的，如果超過了這個上限，傳輸就會出現錯誤。所以，上網的速度是有上限的，無論如何調試都無法突破香農給的這個極限。

看到這裡，你可能已經有點看不懂了，沒事，我們再來舉個生活中的例子。這20多年來互聯網發生了質的飛躍。最早我們使用的是撥號上網，如果用過的人會發現，這個速度慢得可怕，通常打開超過兩個網頁就不行了。這是因為當時的帶寬不能超過56K，只要稍微快一點就會發生錯誤。後來，我們又能寬帶，但是你要用寬帶看高清電影也是想多了。再後來，我們有了光纖，於是，可以看高清電影了。

但是香農告訴我們，

這其實就是香農第二定律，信息論其實很有趣的一點就是別的科學理論都是發明了一個起點，而香農發明的是一個重點。就好比他在山上等你，你一直都在努力地去觸達山頂，這個山頂就被我們稱為香農極限。

香農給我們的啟示

香農三大定律其實後來被運用到了各行各業當中。

實際上香農三大定律遠比我講述的要複雜的多，只是為了讓大家能看懂，我做了相當多的簡化和比喻。但是我們應該知道的是它已經不僅僅是一個理論，更重要的是它是一種思想。如果不是從業者，其實也能夠從香農定律中獲得一些難能可貴的思想。

香農第一定律告訴我們，意外才是信息。

香農第二定律告訴我們，帶寬決定傳輸速率。

香農第三定律告訴我們，想把話說清楚，可以多加一點冗餘度。

我們當然可以去演繹這三條的定律，就拿香農第二定律來說，帶寬就好比生意上的人脈，人脈決定了生意的規模。比如：阿里，滴滴可以通過互聯網觸達全世界的帶寬，這樣阿里一定會比任何一家生產企業帶寬更大，滴滴一定會比任何一個出租車司機帶寬更大，所以它們的企業規模也會遠勝於後者。

致敬香農

以上就是香農在信息論上的成就，實際上香農他是一個全能科學家，他對於信息論的洞見其實來源於他在二戰時對於密碼學的研究。除此之外，他還和愛德華·索普一起發明了第一個佩戴式計算機。平日裡，他愛好雜耍、騎獨輪腳踏車和下棋。

晚年的香農因為得了老年痴呆，備受煎熬。2001年2月24日，這位偉大的科學家離世。由於他的研究領域的原因，他並沒有拿到諾貝爾獎。但是這絲毫不影響他的偉大。他對人類文明的貢獻是不可估量的。時至今日，我們依然受益於信息時代帶給我們的好處。相信數百年後，每當人類追憶起這個時代，香農定是這個時代少數能夠名垂青史的科學家。

今年是香農誕辰103週年，讓我們一起緬懷這位為人類文明做出偉大貢獻的科學家。

閱讀更多 鍾銘聊科學 的文章

關鍵字: 數學 麻省理工學院 密歇根大學