系統論、控制論和信息論簡介

系統論、控制論和信息論

是二十世紀四十年代先後創立並獲得迅猛發展的三門系統理論的分支學科。雖然它們僅有半個世紀，但在系統科學領域中已是資深望重的元老，合稱“老三論”。人們摘取了這三論的英文名字的第一個字母，把它們稱之為SCI論。

耗散結構論、協同論、突變論是二十世紀七十年代以來陸續確立並獲得極快進展的三門系統理論的分支學科。它們雖然時間不長，卻已是系統科學領域中年少有為的成員，故合稱“新三論”，也稱為DSC論。

一般系統論是研究系統的一般模式，結構和規律的學問，它研究各種系統的共同特徵，用數學方法定量地描述其功能，尋求並確立適用於一切系統的原理、原則和數學模型，是具有邏輯和數學性質的一門科學。

控制論是研究動物(包括人類)和機器內部的控制與通信的一般規律的學科,著重於研究過程中的數學關係。

信息論是運用概率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學、數據壓縮等問題的應用數學學科。

系統論是研究系統的結構、特點、行為、動態、原則、規律以及系統間的聯繫，並對其功能進行數學描述的新興學科。系統論的基本思想是把研究和處理的對象看作一個整體系統來對待。系統論的主要任務就是以系統為對象，從整體出發來研究系統整體和組成系統整體各要素的相互關係，從本質上說明其結構、功能、行為和動態，以把握系統整體，達到最優的目標。

系統思想源遠流長，但作為一門科學的系統論，人們公認是美籍奧地利人、理論生物學家L.V.貝塔朗菲（L.Von.Bertalanffy）創立的。

他在1932年發表“抗體系統論”，提出了系統論的思想。1937年提出了一般系統論原理，奠定了這門科學的理論基礎。但是他的論文《關於一般系統論》，到1945年才公開發表，他的理論到1948年在美國再次講授“一般系統論”時，才得到學術界的重視。確立這門科學學術地位的是1968年貝塔朗菲發表的專著：《一般系統理論基礎、發展和應用》(《GeneralSystemTheory;Foundations,Development, Applications》）,該書被公認為是這門學科的代表作。

系統一詞，來源於古希臘語，是由部分構成整體的意思。今天人們從各種角度上研究系統，對系統下的定義不下幾十種。如說“系統是諸元素及其順常行為的給定集合”，“系統是有組織的和被組織化的全體”，“系統是有聯繫的物質和過程的集合”，“系統是許多要素保持有機的秩序，向同一目的行動的東西”，等等。

系統論的8大基本原理

1，系統的整體性原理

2，系統層次性原理

3，系統開放性原理

4，系統的目的性原理

5，系統突變性原理

6，系統穩定性原理

7，系統自組織原理

8，系統相似性原理

控制論

自從1948 年諾伯特·維納發表了著名的《控制論——關於在動物和機器中控制和通訊的科學》一書以來，控制論的思想和方法已經滲透到了幾乎所有的自然科學和社會科學領域。維納把控制論看作是一門研究機器、生命社會中控制和通訊的一般規律的科學，是研究動態系統在變的環境條件下如何保持平衡狀態或穩定狀態的科學。他特意創造“Cybernetics”這個英語新詞來命名這門科學。“控制論”一詞最初來源希臘文“mberuhhtz”，原意為“操舵術”，就是掌舵的方法和技術的意思。在柏拉圖（古希臘哲學家）的著作中，經常用它來表示管理的藝術。

控制論的發展過程大致分為三個階段：

20世紀50年代末期以前為第一階段，稱為經典控制論階段；

50年代末期至70年代初期為第二階段，稱為現代控制論階段；

70年代初期至現在為第三階段，稱為大系統理論階段。

信息論

信息論是運用概率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學、數據壓縮等問題的應用數學學科。信息系統就是廣義的通信系統，泛指某種信息從一處傳送到另一處所需的全部設備所構成的系統。信息論是關於信息的理論，應有自己明確的研究對象和適用範圍。但從信息論誕生的那時起人們就對它有不同的理解。

信息論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯繫。

香農被稱為是“信息論之父”。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《A Mathematical Theory of Communication》（通信的數學理論）作為現代信息論研究的開端。這一文章部分基於哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農給出了信息熵（以下簡稱為“熵”）的定義：

這一定義可以用來推算傳遞經二進制編碼後的原信息所需的信道帶寬。熵度量的是消息中所含的信息量，其中去除了由消息的固有結構所決定的部分，比如，語言結構的冗餘性以及語言中字母、詞的使用頻度等統計特性。

信息論中熵的概念與物理學中的熱力學熵有著緊密的聯繫。玻耳茲曼與吉布斯在統計物理學中對熵做了很多的工作。信息論中的熵也正是受之啟發。

互信息(Mutual Information)是另一有用的信息度量，它是指兩個事件集合之間的相關性。兩個事件X和Y的互信息定義為：

其中

是聯合熵(Joint Entropy)，其定義為：

互信息與多元對數似然比檢驗以及皮爾森χ2校驗有著密切的聯繫。

信息論是20世紀40年代後期從長期通訊實踐中總結出來的一門學科，是專門研究信息的有效處理和可靠傳輸的一般規律的科學。

切略（E.C.Cherry）曾寫過一篇早期信息理論史，他從石刻象形文字起，經過中世紀啟蒙語言學，直到16世紀吉爾伯特（E.N.Gilbert）等人在電報學方面的工作。

20世紀20年代奈奎斯特（H.Nyquist）和哈特萊（L.V.R.Hartley）最早研究了通信系統傳輸信息的能力，並試圖度量系統的信道容量。現代信息論開始出現。

1948年克勞德·香農（Claude Shannon）發表的論文“通信的數學理論”是世界上首次將通訊過程建立了數學模型的論文，這篇論文和1949年發表的另一篇論文一起奠定了現代信息論的基礎。

由於現代通訊技術飛速發展和其他學科的交叉滲透，信息論的研究已經從香農當年僅限於通信系統的數學理論的狹義範圍擴展開來，而成為現在稱之為信息科學的龐大體系。

信息的定義域

信息是確定性的增加----逆Shannon信息定義；

信息是物質、能量、信息的標示----Wiener信息定義的逆;

信息是事物及其屬性標識的集合。

研究範圍

信息論的研究範圍極為廣闊。一般把信息論分成三種不同類型：

(1)狹義信息論是一門應用數理統計方法來研究信息處理和信息傳遞的科學。它研究存在於通訊和控制系統中普遍存在著的信息傳遞的共同規律，以及如何提高各信息傳輸系統的有效性和可靠性的一門通訊理論。

(2)一般信息論主要是研究通訊問題，但還包括噪聲理論、信號濾波與預測、調製與信息處理等問題。

(3)廣義信息論不僅包括狹義信息論和一般信息論的問題，而且還包括所有與信息有關的領域，如心理學、語言學、神經心理學、語義學等。

應用範圍

編碼學

密碼學與密碼分析學

數據傳輸

數據壓縮

檢測理論

估計理論

政治學（政治溝通）