克勞德·埃爾伍德·香農（Claude Elwood Shannon），美國數學家，提出了信息熵的概念，奠定了信息論和數字通信的基礎。雖然無緣諾貝爾獎，但香農的研究卻與各個領域的頂尖學者產生過交集。陳關榮教授在本文中整理了22位科學家與香農跨時空的“meet”。
撰文 | 陳關榮（香港城市大學電機工程系講座教授）
美國科學家香農（Claude Elwood Shannon，1916年4月30日－2001年2月26日）以創立信息論而聞名。
香農出生於密歇根（Michigan）的湖濱小鎮佩託斯基（Petoskey），該地名來自當地印第安人語，意為“旭日之光”。
建立現代信息論
1936年，香農在密歇根大學獲得數學與電氣工程學士學位，然後進入麻省理工學院（MIT）讀研究生。
1938年香農在MIT獲得電氣工程碩士學位，學位論文題目是“繼電器與開關電路的符號分析”（A symbolic analysis of relay and switching circuits）。他把布爾代數的“真”與“假”和電路系統的“開”與“關”對應起來，分別用1和0表示。
他的數學分析為數字電路打下了理論基礎，把計算機科學引上了數字化的道路，為今天形形色色的數字技術鋪墊了牢固的基石。
1940年，香農因這一成果獲得了美國工程師學會頒發的Alfred Noble獎。同年，香農在MIT獲得數學博士學位，學位論文題目是“理論遺傳學的代數學”（An algebra for theoretical genetics）。
在科學史上被公認為有奠基性成果的博士論文並不多見，廣為人知的當然有愛因斯坦、居里夫人、德布羅意、費曼，數學方面還包括黎曼和納什，而香農的博士論文被認為是二十世紀最優秀的一篇。
（圖源：dspace.mit.edu）
1940-1941年間，香農在普林斯頓高等研究院工作，期間開始思考信息理論和數字通信問題。1941年，他加入AT&T電話電報公司的貝爾實驗室（Bell Labs）數學部，工作至1956年。其後被MIT聘為客座教授，1958年成為講座教授，1978年退休成為名譽教授。
在貝爾實驗室期間，除了火炮控制系統之外，信息保密和隱藏技術是香農的主要工作內容。1945年，香農向實驗室提交了一份機密文件“密碼學的數學理論”（A mathematical theory of cryptography）。該研究成果在二戰結束後於1949年以“保密系統的通信理論”（Communication theory of secrecy systems）為題正式發表，為現代公鑰密碼和分組密碼設計提供了啟發和指導。他隨即被美國政府聘為密碼事務顧問。
在貝爾實驗室，信息理論和數字通信一直是香農的重點科學研究內容。1948年，香農在實驗室主辦的雜誌《Bell System Technical Journal》上分兩期發表了一篇論文“通信的數學原理”（A mathematical theory of communication），研究瞭如何最好地為發送信息編碼，引進了量度不確定性的信息熵，還設計了稍後和範諾（Robert Fano）一起完成的“香農-範諾編碼”。1949年，他又在該雜誌上發表了“噪聲下的通信”一文，其中建立了著名的香農採樣定理（Shannon sampling theorem）。
香農這期間的一系列工作，建立了現代信息論。
他後來回憶道：“我的第一個想法，就是如何在噪聲信道中最好地改善信息傳輸。”香農在文章中定義了信息的基本單位，採取了貝爾實驗室同事John Tukey的建議，定為“比特”。當年，據說是馮·諾爾曼（John von Neumann）說服香農借用熱力學的“熵”這個詞。馮·諾爾曼認為，當時沒有人知道這個“信息熵”是什麼，這在學術界關於信息理論辯論中會給香農帶來優勢。此外，香農說過他的通信理論在數學和哲學原理方面頗多受益於MIT 的同事維納（Norbert Wiener）。維納則強調，引入信息熵及數字技術作為該理論的基礎是香農個人的功勞。
逼近香農極限
香農在1948年的論文中還引進了通信信道的香農極限（Shannon limit），也稱為香農容量（Shannon capacity），就是針對特定噪聲水平的信道的最大理論信息傳輸速率。
後來，著名的香農定理（噪聲信道編碼定理）指出: 信息傳輸速率即信道容量，是帶寬，是平均信號功率，是平均噪聲功率，為信噪比。香農極限就是其最大值。香農在該論文中解釋瞭如何計算這個極限，但他當時並不知道如何逼近它。
多年以後，香農和其他科學家不斷地挑戰這個重要而棘手的技術問題。現代通信系統從1G、2G、3G、4G到5G的整個發展過程中，全世界的科學家、通信運營商和生廠商們一直在追逐著逼近香農極限。
興趣驅動研究
1951年，香農發表了“書面英語的預測和熵”（Prediction and entropy of printed English）一文，說明信息論不但可以應用於計算機語言，而且可以應用於自然語言，他還計算了英語的熵，主張從數理統計的角度去分析人類語言。
香農是一個典型的興趣驅動型的科學家，他並不考慮自己的研究成果有無商業價值，甚至不關心最後成果是否有用。他說：“我在完全無用的事情上花了大量的時間”。
事實上，香農對各種創新嘗試的喜好甚至讓他迷戀上智能遊戲機。1949年，他發表了論文“為下棋計算機編程”（Programming a computer for playing chess），勾畫了關於人工智能的一項開創性工作。
次年，他親手製造了一隻名為“忒修斯”（Theseus）的機器老鼠，讓機械鼠通過反覆試探後自己找到迷宮的出路。忒修斯是希臘神話中的英雄，他為了解救希臘的童男童女，自告奮勇到克里特島除掉了人頭牛身的惡怪“彌諾陶洛斯”（Minotaur），並在可怕的迷宮裡成功地找到了出口。
（圖源：commons.wikimedia.org）
1951年，香農發表了論文“介紹一個走迷宮的機器”（Presentation of a maze solving machine），解釋了這一任務是通過密集繼電器系列的運作完成的，取材於貝爾電話系統的交換機元件。那個巧妙的機電設計被視為現代計算機芯片的雛型。
1953年，他又設計了一個“心靈閱讀”（mind reading）機器，它通過觀察和分析弈棋對手過去所做各種選擇的樣本，能夠相當準確地猜測到對手下一步棋的走法。那個成功的邏輯設計被視為現代機器學習和人工智能發展的前奏。香農當年說過：“我認為，幾十年後機器智能超越人類是完全可以預期的。”
從上世紀60年代起，年方半百的香農逐漸消失在公眾的視野中。他甚至不再出席由他創辦的信息領域專業會議。香農曾經說過：“許多偉大數學家在年輕的時候就已經完成了生命中最重要的研究。”也許是他自認為江郎才盡了？旁人和後人都不得而知。只是到了1985年，有一次他出乎意料地出現在英國布萊頓舉行的國際信息論研討會上，當時很多與會者甚至不知道他仍然在世。
事實上到了1980年代，香農的記憶力開始嚴重衰退，後來患上了老年痴呆症。香農在與疾病抗爭了很長一段時間後於2001年2月24日辭世，享年84歲。
回顧香農輝煌的一生，他年輕時開始已經在世界上被逐漸公認推崇，獲得過10個榮譽博士學位（先後依次為密歇根大學、普林斯頓大學、愛丁堡大學、匹茲堡大學、美國西北大學、牛津大學、東英格倫大學、卡內基梅隆大學、塔夫斯大學和賓夕法尼亞大學），成為美國科學院和工程院院士以及英國皇家學會院士。
他獲得的主要獎項包括1985年的日本京都獎（Kyoto Prize）、1966年的IEEE 榮譽獎章（IEEE Medal of Honor）、1972年IEEE第一屆香農獎（Shannon Award）和1996年的美國國家科學獎（National Medal of Science）。
遺憾的是，香農研究工作的領域和本質決定了他無緣於諾貝爾獎。
22位科學家 “Meets Shannon”
在香農的生前身後，許多科學家和數學家都遇見過他（“Meets Shannon”）。除了與他同時代或稍後的知名數學家和科學家卡諾（Carnot，1796-1832）、菲克（Fick，1829-1901）、李雅普諾夫（Lyapunov，1857-1918）、馬可尼（Marconi，1874-1937）、奈奎斯特（Nyquist，1889-1976）、維納（Wiener，1894-1964）、馮·諾爾曼（von Neumann，1903-1957）、波德（Bode，1905-1982）、列昂季耶夫（Leontief，1906-1999）、圖靈（Turing，1912-1954）、布萊克韋（Blackwell，1919-2010)、貝爾曼（Bellamn，1920-1984）、納什（Nash，1928-2015）、列康（LeCam，1924-2000）、摩爾（Moore，1929-）、卡爾曼（Kalman，1930-2016）、斯特朗（Strang，1934-）、索茲（Shortz，1952-）之外，還有他的前輩傅里葉（Fourier，1768-1830）、麥克斯韋（Maxwell，1831-1879）、瓦爾拉斯（Walras，1834-1890）、特斯拉（Tesla，1856-1943），他們都遇見過香農（見[附錄]）。
香農如此敬業樂群，你也遇見過他麼？
附錄：Who meets Shannon or Shannon meets whom?
卡諾（Carnot）: O Shental and I Kanter, Shannon meets Carnot: Generalized second thermo-dynamic law, Europhysics Letters, 85(1): 10006, 2009.
卡諾（Carnot）: H Li, Information efficiency of communications for networked control in cyber physical systems: When Carnot meets Shannon, 55th IEEE Conference on Decision and Control, Dec. 12-14, 2016, Las Vegas, NV, USA
菲克（Fick）: AO Bicen, JJ Lehtomäki, and IF Akyildiz, Shannon meets Fick on the microfluidic channel: Diffusion limit to sum broadcast capacity for molecular communication, IEEE Transactions on NanoBioscience, 17(1): 88-94, 2018.
李雅普諾夫(Lyapunov）: T Holliday, P Glynn and A Goldsmith, Shannon meets Lyapunov: Connections between information theory and dynamical systems, 44th IEEE Conference on Decision and Control, Dec. 12-16, 2005, Seville, Spain, 2005.
馬可尼（Marconi）: D Tse, Modern wireless communication: When Shannon meets Marconi, 2006 IEEE International Conference on Acoustics, Speech and Signal Processing, May 14-19, 2006, Toulouse, France, 2006.
奈奎斯特（Nyquist）: YX Chen, AJ Goldsmith and YC Eldar, Shannon meets Nyquist: The interplay between capacity and sampling, 49th Annual Allerton Conference on Communication, Control, and Computing, Sept. 28-30, Monticello, IL, USA, 2011.
奈奎斯特（Nyquist）: YX Chen, YC Eldar, and AJ Goldsmith, Shannon meets Nyquist: Capacity of sampled Gaussian channels, IEEE Transactions on Information Theory, 39(8): 4889-4914, 2013.
維納（Wiener）: GD Forney, On the role of MMSE estimation in approaching the information-theoretic limits of linear Gaussian channels: Shannon meets Wiener, 41st Annual Allerton Conference on Communication, Control and Computing, Oct. 1-3, 2003, Monticello, IL, USA, 2003; and Shannon meets Wiener II: On MMSE estimation in successive decoding schemes, 2004.
馮·諾爾曼（von Neumann）: ST Jose and AA Kulkarni, Shannon meets von Neumann: A minimax theorem for channel coding in the presence of a jammer, arXiv:1811.07358, 2018.
波德（Bode）: N Elia, When Bode meets Shannon: Control-oriented feedback communication schemes, IEEE Transactions on Automatic Control, 49(9): 1477-1488, 2004.
列昂季耶夫（Leontief）: D Zachariah and P Cockshott, Leontief meets Shannon - Measuring the complexity of the economic system, arXiv:1705.02154, 2017.
圖靈（Turing）: JP Giannini and T Bowen, Life in code and digits: When Shannon met Turing, Electronic Visualisation and the Arts, July 11-13, 2017, London, UK, 2017.
圖靈（Turing）: W Szpankowski and A Grama, Frontiers of science of information: Shannon meets Turing, Computer, 51(1): 28-38, 2018.
布萊克韋（Blackwell）和列康（LeCam）: M Raginsky, Shannon meets Blackwell and LeCam : Channels, codes, and statistical experiments, IEEE International Symposium on Information Theory, July 31 - Aug. 5, 2011, St. Petersburg, Russia, 2011.
貝爾曼（Bellamn）: S Meyn and G Mathew, Shannon meets Bellman: Feature based Markovian models for detection and optimization, 47th IEEE Conference on Decision and Control, Dec. 9-11, 2008, Cancun, Mexico, 2008.
納什（Nash）: RA Berry and DNC Tse, Shannon meets Nash on the interference channel, IEEE Transactions on Information Theory, 57(5): 2821-2836, 2011.
摩爾（Moore）: L Harrison, Moore’s law meets Shannon’s law: The evolution of the communication's industry, IEEE International Conference on Computer Design: VLSI in Computers and Processors, Sept. 23-26, 2001, Austin, TX, USA, 2001.
摩爾（Moore）: S Scholl, S Weithoffer and N When, Advanced iterative
文章頭圖及封面圖片來源：Thierry Ehrmann en Flickr
閱讀更多 知識分子 的文章
