信息論

   

   總述 （來源: 信息論 南豐公益書院  ）
信息論
信息論是運用概率論與數理統(tǒng)計的方法研究信息、信息熵、通信系統(tǒng)、數據傳輸、密碼學、數據壓縮等問題的應用數學學科。

信息論將信息的傳遞作為一種統(tǒng)計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯系。

香農被稱為是“信息論之父”。人們通常將香農于1948年10月發(fā)表于《貝爾系統(tǒng)技術學報》上的論文《A Mathematical Theory of Communication》（通信的數學理論）作為現代信息論研究的開端。這一文章部分基于哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農給出了信息熵（以下簡稱為“熵”）的定義：

H = - ∑ pilogpi
i  

這一定義可以用來推算傳遞經二進制編碼后的原信息所需的信道帶寬。熵度量的是消息中所含的信息量，其中去除了由消息的固有結構所決定的部分，比如，語言結構的冗余性以及語言中字母、詞的使用頻度等統(tǒng)計特性。南豐公益書院

信息論中熵的概念與物理學中的熱力學熵有著緊密的聯系。玻耳茲曼與吉布斯在統(tǒng)計物理學中對熵做了很多的工作。信息論中的熵也正是受之啟發(fā)。

互信息(Mutual Information)是另一有用的信息度量，它是指兩個事件集合之間的相關性。兩個事件X和Y的互信息定義為：

I(X,Y) = H(X) + H(Y) - H(X,Y)
其中 H(X,Y) 是聯合熵(Joint Entropy)，其定義為：

H(X,Y) = - ∑ p(x,y)logp(x,y)
x,y  

互信息與多元對數似然比檢驗以及皮爾森χ2校驗有著密切的聯系。


應用

信息論被廣泛應用在：
南豐公益書院

編碼學
密碼學與密碼分析學
數據傳輸
數據壓縮
檢測理論
估計理論
信息論第一定律

信息論是一門用數理統(tǒng)計方法來研究信息的度量、傳遞和變換規(guī)律的科學。它主要是研究通訊和控制系統(tǒng)中普遍存在著信息傳遞的共同規(guī)律以及研究最佳解決信息的獲限、度量、變換、儲存和傳遞等問題的基礎理論。
　　信息論的研究范圍極為廣闊。一般把信息論分成三種不同類型：
　　(1)狹義信息論是一門應用數理統(tǒng)計方法來研究信息處理和信息傳遞的科學。它研究存在于通訊和控制系統(tǒng)中普遍存在著的信息傳遞的共同規(guī)律，以及如何提高各信息傳輸系統(tǒng)的有效性和可靠性的一門通訊理論。
　　(2)一般信息論主要是研究通訊問題，但還包括噪聲理論、信號濾波與預測、調制與信息處理等問題。
　　(3)廣義信息論不僅包括狹義信息論和一般信息論的問題，而且還包括所有與信息有關的領域，如心理學、語言學、神經心理學、語義學等。
　　信息就是一種消息，它與通訊問題密切相關。1984年貝爾研究所的申農在題為《通訊的數學理論》的論文中系統(tǒng)地提出了關于信息的論述，創(chuàng)立了信息論。維納提出的關于度量信息量的數學公式開辟了信息論的廣泛應用前景。1951年美國無線電工程學會承認信息論這門學科，此后得到迅速發(fā)展。20世紀50年代是信息論向各門學科沖擊的時期，60年代信息論不是重大的創(chuàng)新時期，而是一個消化、理解的時期，是在已有的基礎上進行重大建設的時期。研究重點是信息和信源編碼問題。到70年代，由于數字計算機的廣泛應用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學領域，它迫切要求突破申農信息論的狹隘范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎理論，從而推動其他許多新興學科進一步發(fā)展。目前，人們已把早先建立的有關信息的規(guī)律與理論廣泛應用于物理學、化學、生物學等學科中去。一門研究信息的產生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學正在形成。
　　信息科學是人們在對信息的認識與利用不斷擴大的過程中，在信息論、電子學、計算機科學、人工智能、系統(tǒng)工程學、自動化技術等多學科基礎上發(fā)展起來的一門邊緣性新學科。它的任務主要是研究信息的性質，研究機器、生物和人類關于各種信息的獲取、變換、傳輸、處理、利用和控制的一般規(guī)律，設計和研制各種信息機器和控制設備，實現操作自動化，以便盡可能地把人腦從自然力的束縛下解放出來，提高人類認識世界和改造世界的能力。信息科學在安全問題的研究中也有著重要應用。
　　
　　——摘自《安全科學技術百科全書》（中國勞動社會保障出版社，2003年6月出版）
   

• 通信詞典解釋