信息論

   

   總述 （來(lái)源: 信息論 南豐公益書院  ）
信息論
信息論是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學(xué)、數(shù)據(jù)壓縮等問(wèn)題的應(yīng)用數(shù)學(xué)學(xué)科。

信息論將信息的傳遞作為一種統(tǒng)計(jì)現(xiàn)象來(lái)考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。這兩個(gè)方面又由信息傳輸定理、信源－信道隔離定理相互聯(lián)系。

香農(nóng)被稱為是“信息論之父”。人們通常將香農(nóng)于1948年10月發(fā)表于《貝爾系統(tǒng)技術(shù)學(xué)報(bào)》上的論文《A Mathematical Theory of Communication》（通信的數(shù)學(xué)理論）作為現(xiàn)代信息論研究的開端。這一文章部分基于哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農(nóng)給出了信息熵（以下簡(jiǎn)稱為“熵”）的定義：

H = - ∑ pilogpi
i  

這一定義可以用來(lái)推算傳遞經(jīng)二進(jìn)制編碼后的原信息所需的信道帶寬。熵度量的是消息中所含的信息量，其中去除了由消息的固有結(jié)構(gòu)所決定的部分，比如，語(yǔ)言結(jié)構(gòu)的冗余性以及語(yǔ)言中字母、詞的使用頻度等統(tǒng)計(jì)特性。南豐公益書院

信息論中熵的概念與物理學(xué)中的熱力學(xué)熵有著緊密的聯(lián)系。玻耳茲曼與吉布斯在統(tǒng)計(jì)物理學(xué)中對(duì)熵做了很多的工作。信息論中的熵也正是受之啟發(fā)。

互信息(Mutual Information)是另一有用的信息度量，它是指兩個(gè)事件集合之間的相關(guān)性。兩個(gè)事件X和Y的互信息定義為：

I(X,Y) = H(X) + H(Y) - H(X,Y)
其中 H(X,Y) 是聯(lián)合熵(Joint Entropy)，其定義為：

H(X,Y) = - ∑ p(x,y)logp(x,y)
x,y  

互信息與多元對(duì)數(shù)似然比檢驗(yàn)以及皮爾森χ2校驗(yàn)有著密切的聯(lián)系。


應(yīng)用

信息論被廣泛應(yīng)用在：
南豐公益書院

編碼學(xué)
密碼學(xué)與密碼分析學(xué)
數(shù)據(jù)傳輸
數(shù)據(jù)壓縮
檢測(cè)理論
估計(jì)理論
信息論第一定律

信息論是一門用數(shù)理統(tǒng)計(jì)方法來(lái)研究信息的度量、傳遞和變換規(guī)律的科學(xué)。它主要是研究通訊和控制系統(tǒng)中普遍存在著信息傳遞的共同規(guī)律以及研究最佳解決信息的獲限、度量、變換、儲(chǔ)存和傳遞等問(wèn)題的基礎(chǔ)理論。
　　信息論的研究范圍極為廣闊。一般把信息論分成三種不同類型：
　　(1)狹義信息論是一門應(yīng)用數(shù)理統(tǒng)計(jì)方法來(lái)研究信息處理和信息傳遞的科學(xué)。它研究存在于通訊和控制系統(tǒng)中普遍存在著的信息傳遞的共同規(guī)律，以及如何提高各信息傳輸系統(tǒng)的有效性和可靠性的一門通訊理論。
　　(2)一般信息論主要是研究通訊問(wèn)題，但還包括噪聲理論、信號(hào)濾波與預(yù)測(cè)、調(diào)制與信息處理等問(wèn)題。
　　(3)廣義信息論不僅包括狹義信息論和一般信息論的問(wèn)題，而且還包括所有與信息有關(guān)的領(lǐng)域，如心理學(xué)、語(yǔ)言學(xué)、神經(jīng)心理學(xué)、語(yǔ)義學(xué)等。
　　信息就是一種消息，它與通訊問(wèn)題密切相關(guān)。1984年貝爾研究所的申農(nóng)在題為《通訊的數(shù)學(xué)理論》的論文中系統(tǒng)地提出了關(guān)于信息的論述，創(chuàng)立了信息論。維納提出的關(guān)于度量信息量的數(shù)學(xué)公式開辟了信息論的廣泛應(yīng)用前景。1951年美國(guó)無(wú)線電工程學(xué)會(huì)承認(rèn)信息論這門學(xué)科，此后得到迅速發(fā)展。20世紀(jì)50年代是信息論向各門學(xué)科沖擊的時(shí)期，60年代信息論不是重大的創(chuàng)新時(shí)期，而是一個(gè)消化、理解的時(shí)期，是在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時(shí)期。研究重點(diǎn)是信息和信源編碼問(wèn)題。到70年代，由于數(shù)字計(jì)算機(jī)的廣泛應(yīng)用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問(wèn)題。人們?cè)絹?lái)越認(rèn)識(shí)到信息的重要性，認(rèn)識(shí)到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便使它能成為人類各種活動(dòng)中所碰到的信息問(wèn)題的基礎(chǔ)理論，從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。目前，人們已把早先建立的有關(guān)信息的規(guī)律與理論廣泛應(yīng)用于物理學(xué)、化學(xué)、生物學(xué)等學(xué)科中去。一門研究信息的產(chǎn)生、獲取、變換、傳輸、存儲(chǔ)、處理、顯示、識(shí)別和利用的信息科學(xué)正在形成。
　　信息科學(xué)是人們?cè)趯?duì)信息的認(rèn)識(shí)與利用不斷擴(kuò)大的過(guò)程中，在信息論、電子學(xué)、計(jì)算機(jī)科學(xué)、人工智能、系統(tǒng)工程學(xué)、自動(dòng)化技術(shù)等多學(xué)科基礎(chǔ)上發(fā)展起來(lái)的一門邊緣性新學(xué)科。它的任務(wù)主要是研究信息的性質(zhì)，研究機(jī)器、生物和人類關(guān)于各種信息的獲取、變換、傳輸、處理、利用和控制的一般規(guī)律，設(shè)計(jì)和研制各種信息機(jī)器和控制設(shè)備，實(shí)現(xiàn)操作自動(dòng)化，以便盡可能地把人腦從自然力的束縛下解放出來(lái)，提高人類認(rèn)識(shí)世界和改造世界的能力。信息科學(xué)在安全問(wèn)題的研究中也有著重要應(yīng)用。
　　
　　——摘自《安全科學(xué)技術(shù)百科全書》（中國(guó)勞動(dòng)社會(huì)保障出版社，2003年6月出版）
   

• 通信詞典解釋