香農(nóng)

“香農(nóng)”是指美國著名的信息理論家約翰·香農(nóng)（John Claude Shannon），他在1948年發(fā)表的《現(xiàn)代電信學(xué)》（A Mathematical Theory of Communication）一文中，提出了信息論的基本概念，定義了信息論的基本概念，為現(xiàn)代信息技術(shù)的發(fā)展奠定了基礎(chǔ)。 香農(nóng)在信息論中提出的概念包括信息熵、信息量、信息率、信息熵和信息編碼等，這些概念對信息技術(shù)的發(fā)展起到了重要的作用。信息熵是指信息的不確定性，它可以用來衡量信息的混亂程度。信息量是指信息的容量，可以衡量信息的多少。信息率是指信息傳輸速率，可以衡量信息傳輸?shù)目炻�。信息熵是指信息的�?fù)雜度，可以衡量信息的復(fù)雜程度。信息編碼是指將信息轉(zhuǎn)換為可傳輸?shù)男畔�，可以提高信息傳輸�(shù)男�率�? 香農(nóng)的理論在通信領(lǐng)域有著廣泛的應(yīng)用，它可以用來優(yōu)化信息傳輸?shù)南到y(tǒng)，解決信息傳輸中的各種問題。它可以用來設(shè)計(jì)信息傳輸系統(tǒng)，優(yōu)化信息傳輸?shù)男�率，提高信息傳輸�(shù)馁|(zhì)量。它還可以用來設(shè)計(jì)信息傳輸?shù)木幋a方案，提高信息傳輸?shù)男�率。它還可以用來設(shè)計(jì)信息傳輸?shù)男诺�，提高信息傳輸�(shù)陌踩�性�? 香農(nóng)的理論在現(xiàn)代信息技術(shù)的發(fā)展中發(fā)揮了重要作用，它可以用來解決信息傳輸中的各種問題，優(yōu)化信息傳輸?shù)南到y(tǒng)，提高信息傳輸?shù)馁|(zhì)量和效率，提高信息傳輸?shù)陌踩�性�?

---

�牐牽藙诘隆は戕r(nóng)(Claude Elwood Shannon，1916-2001)1916年4月30日誕生于美國密西根州的Petoskey。在Gaylord小鎮(zhèn)長大，當(dāng)時鎮(zhèn)里只有三千居民。父親是該鎮(zhèn)的法官，他們父子的姓名完全相同，都是Claude Elwood Shannon。母親是鎮(zhèn)里的中學(xué)校長，姓名是Mabel Wolf Shannon。他生長在一個有良好教育的環(huán)境，不過父母給他的科學(xué)影響好像還不如祖父的影響大。香農(nóng)的祖父是一位農(nóng)場主兼發(fā)明家，發(fā)明過洗衣機(jī)和許多農(nóng)業(yè)機(jī)械，這對香農(nóng)的影響比較直接。此外，香農(nóng)的家庭與大發(fā)明家愛迪生(Thomas Alva Edison，1847-1931)還有遠(yuǎn)親關(guān)系。
�牐犗戕r(nóng)的大部分時間是在貝爾實(shí)驗(yàn)室和MIT(麻省理工學(xué)院)度過的。在“功成名就”后，香農(nóng)與瑪麗(Mary Elizabeth Moore)1949年3月27日結(jié)婚，他們是在貝爾實(shí)驗(yàn)室相識的，瑪麗當(dāng)時是數(shù)據(jù)分析員。他們共有四個孩子：三個兒子Robert、James、Andrew Moore和一個女兒Margarita Catherine。后來身邊還有兩個可愛的孫女。
�牐�2001年2月24日，香農(nóng)在馬薩諸塞州Medford辭世，享年85歲。貝爾實(shí)驗(yàn)室和MIT發(fā)表的訃告都尊崇香農(nóng)為信息論及數(shù)字通信時代的奠基人。
�牐�1936年香農(nóng)在密西根大學(xué)獲得數(shù)學(xué)與電氣工程學(xué)士學(xué)位，然后進(jìn)入MIT念研究生。
�牐�1938年香農(nóng)在MIT獲得電氣工程碩士學(xué)位，碩士論文題目是《A Symbolic Analysis of Relay and Switching Circuits》(繼電器與開關(guān)電路的符號分析)。當(dāng)時他已經(jīng)注意到電話交換電路與布爾代數(shù)之間的類似性，即把布爾代數(shù)的“真”與“假”和電路系統(tǒng)的“開”與“關(guān)”對應(yīng)起來，并用1和0表示。于是他用布爾代數(shù)分析并優(yōu)化開關(guān)電路，這就奠定了數(shù)字電路的理論基礎(chǔ)。哈佛大學(xué)的Howard Gardner教授說，“這可能是本世紀(jì)最重要、最著名的一篇碩士論文�！�
�牐�1940年香農(nóng)在MIT獲得數(shù)學(xué)博士學(xué)位，而他的博士論文卻是關(guān)于人類遺傳學(xué)的，題目是《An Algebra for Theoretical Genetics》(理論遺傳學(xué)的代數(shù)學(xué))。這說明香農(nóng)的科學(xué)興趣十分廣泛，后來他在不同的學(xué)科方面發(fā)表過許多有影響的文章。
�牐犜谧x學(xué)位的同時，他還用部分時間跟溫尼法·布什(Vannevar Bush)教授進(jìn)行微分分析器的研究。這種分析器是早期的機(jī)械模擬計(jì)算機(jī)，用于獲得常微分方程的數(shù)值解。1941年香農(nóng)發(fā)表了《Mathematical theory of the differential analyzer》(微分分析器的數(shù)學(xué)理論)，他寫道：“大多數(shù)結(jié)果通過證明的定理形式給出。最重要的是處理了一些條件，有些條件可以生成一個或多個變量的函數(shù)，有些條件可使常微分方程得到解。還給出了一些注意事項(xiàng)，給出求函數(shù)的近似值(不能產(chǎn)生精確值)、求調(diào)整率的近似值以及自動控制速率的方法�！�
�牐�1941年香農(nóng)以數(shù)學(xué)研究員的身份進(jìn)入新澤西州的AT&T貝爾電話公司，并在貝爾實(shí)驗(yàn)室工作到1972年，從24歲到55歲，整整31年。1956年他當(dāng)了MIT的訪問教授，1958年成為正式教授，1978年退休。
�牐犎藗兠枋鱿戕r(nóng)的生活，白天他總是關(guān)起門來工作，晚上則騎著他的獨(dú)輪車來到貝爾實(shí)驗(yàn)室。他的同事D. Slepian寫到：“我們大家都帶著午飯來上班，飯后在黑板上玩玩數(shù)學(xué)游戲，但克勞德很少過來。他總是關(guān)起門來工作。但是，如果你要找他，他會非常耐心地幫助你。他能立刻抓住問題的本質(zhì)。他真是一位天才，在我認(rèn)識的人中，我只對他一人使用這個詞�！�
�牐犗戕r(nóng)與John Riordan一起工作，1942年發(fā)表了一篇關(guān)于串并聯(lián)網(wǎng)絡(luò)的雙終端數(shù)的論文。這篇論文擴(kuò)展了麥克馬洪(Percy A. MacMahon，1854-1929)1892年在Electrician上發(fā)表的論文理論。1948年則創(chuàng)立了信息論(information theory)。
�牐犜诼�長的歲月，他思考過許多問題。除在普林斯頓高等研究院工作過一年外，主要都在MIT和Bell Lab度過。需要說明的是，在二次世界大戰(zhàn)時，香農(nóng)博士也是一位著名的密碼破譯者(這使人聯(lián)想到比他大4歲的圖靈博士)。他在Bell Lab的破譯團(tuán)隊(duì)主要是追蹤德國飛機(jī)和火箭，尤其是在德國火箭對英國進(jìn)行閃電戰(zhàn)時起了很大作用。1949年香農(nóng)發(fā)表了另外一篇重要論文《Communication Theory of Secrecy Systems》(保密系統(tǒng)的通信理論)，正是基于這種工作實(shí)踐，它的意義是使保密通信由藝術(shù)變成科學(xué)。
�牐�1948年香農(nóng)在Bell System Technical Journal上發(fā)表了《A Mathematical Theory of Communication 》。論文由香農(nóng)和威沃共同署名。前輩威沃(Warren Weaver，1894-1978)當(dāng)時是洛克菲勒基金會自然科學(xué)部的主任，他為文章寫了序言。后來，香農(nóng)仍然從事技術(shù)工作，而威沃則研究信息論的哲學(xué)問題。順便提一句，該論文剛發(fā)表時，使用的是不定冠詞A，收入論文集時改為定冠詞The。
�牐犾氐母拍�
�牐犗戕r(nóng)理論的重要特征是熵(entropy)的概念，他證明熵與信息內(nèi)容的不確定程度有等價(jià)關(guān)系。熵曾經(jīng)是波爾茲曼在熱力學(xué)第二定律引入的概念，我們可以把它理解為分子運(yùn)動的混亂度。信息熵也有類似意義，例如在中文信息處理時，漢字的靜態(tài)平均信息熵比較大，中文是9.65比特，英文是4.03比特。這表明中文的復(fù)雜程度高于英文，反映了中文詞義豐富、行文簡練，但處理難度也大。信息熵大，意味著不確定性也大。因此我們應(yīng)該深入研究，以尋求中文信息處理的深層突破。不能盲目認(rèn)為漢字是世界上最優(yōu)美的文字，從而引申出漢字最容易處理的錯誤結(jié)論。
�牐牨娝�周知，質(zhì)量、能量和信息量是三個非常重要的量。
�牐犎藗兒茉缇椭�道用秤或者天平計(jì)量物質(zhì)的質(zhì)量，而熱量和功的關(guān)系則是到了19世紀(jì)中葉，隨著熱功當(dāng)量的明確和能量守恒定律的建立才逐漸清楚。能量一詞就是它們的總稱，而能量的計(jì)量則通過“卡、焦耳”等新單位的出現(xiàn)而得到解決。
�牐犎欢�，關(guān)于文字、數(shù)字、圖畫、聲音的知識已有幾千年歷史了。但是它們的總稱是什么，它們?nèi)绾谓y(tǒng)一地計(jì)量，直到19世紀(jì)末還沒有被正確地提出來，更談不上如何去解決了。20世紀(jì)初期，隨著電報(bào)、電話、照片、電視、無線電、雷達(dá)等的發(fā)展，如何計(jì)量信號中信息量的問題被隱約地提上日程。
�牐�1928年哈特利(R.V. H. Harley)考慮到從D個彼此不同的符號中取出N個符號并且組成一個“詞”的問題。如果各個符號出現(xiàn)的概率相同，而且是完全隨機(jī)選取的，就可以得到DN個不同的詞。從這些詞里取了特定的一個就對應(yīng)一個信息量I。哈特利建議用N log D這個量表示信息量，即I=N log D 。這里的log表示以10為底的對數(shù)。后來，1949年控制論的創(chuàng)始人維納也研究了度量信息的問題，還把它引向熱力學(xué)第二定律。
�牐牭�是就信息傳輸給出基本數(shù)學(xué)模型的核心人物還是香農(nóng)。1948年香農(nóng)長達(dá)數(shù)十頁的論文“通信的數(shù)學(xué)理論”成了信息論正式誕生的里程碑。在他的通信數(shù)學(xué)模型中，清楚地提出信息的度量問題，他把哈特利的公式擴(kuò)大到概率pi不同的情況，得到了著名的計(jì)算信息熵H的公式：
�牐燞=∑-pi log pi
�牐犎绻�計(jì)算中的對數(shù)log是以2為底的，那么計(jì)算出來的信息熵就以比特(bit)為單位。今天在計(jì)算機(jī)和通信中廣泛使用的字節(jié)(Byte)、KB、MB、GB等詞都是從比特演化而來�！氨忍亍钡某霈F(xiàn)標(biāo)志著人類知道了如何計(jì)量信息量。香農(nóng)的信息論為明確什么是信息量概念作出決定性的貢獻(xiàn)。
�牐犑聦�(shí)上，香農(nóng)最初的動機(jī)是把電話中的噪音除掉，他給出通信速率的上限，這個結(jié)論首先用在電話上，后來用到光纖，現(xiàn)在又用在無線通信上。我們今天能夠清晰地打越洋電話或衛(wèi)星電話，都與通信信道質(zhì)量的改善密切相關(guān)。
�牐牽藙诘隆は戕r(nóng)在公眾中并不特別知名，但他是使我們的世界能進(jìn)行即時通信的少數(shù)科學(xué)家和思想家之一。他是美國科學(xué)院院士、美國工程院院士、英國皇家學(xué)會會員、美國哲學(xué)學(xué)會會員。他獲得過許多榮譽(yù)和獎勵。例如1949年Morris獎、1955年Ballantine獎、1962年Kelly獎、1966年的國家科學(xué)獎?wù)�、IEEE的榮譽(yù)獎?wù)隆?978年Jaquard獎、1983年Fritz獎、1985年基礎(chǔ)科學(xué)京都獎。他接受的榮譽(yù)學(xué)位不勝枚舉，不再贅述。
�牐牻裉�，我們懷念香農(nóng)，要熟悉他的兩大貢獻(xiàn)：一是信息理論、信息熵的概念；另一是符號邏輯和開關(guān)理論。我們更應(yīng)該學(xué)習(xí)他好奇心強(qiáng)、重視實(shí)踐、追求完美、永不滿足的科學(xué)精神，這是他獲得成功的重要經(jīng)驗(yàn)。




抱歉，此頁面的內(nèi)容受版權(quán)保護(hù)，復(fù)制需扣除次數(shù)，次數(shù)不足時需付費(fèi)購買。

如需下載請點(diǎn)擊：點(diǎn)擊此處下載

關(guān)閉

掃碼付費(fèi)即可復(fù)制
X

• 更多詳細(xì)解釋內(nèi)容
• 在通信搜索中檢索“香農(nóng)”

• 34.9Tbps的傳輸速率 NEC演示接近香農(nóng)極限
• 從香農(nóng)公式去看LTE的傳輸速率
• 用香農(nóng)公式去解釋LTE的傳輸速率
• 誰能從香農(nóng)定理上解釋一下4G為什么比3G快
• 6月12日：香農(nóng)公式
• 奈奎斯定理與香農(nóng)定律
• 更多 香農(nóng) 相關(guān)討論貼

• 香農(nóng)公式是什么
• 有關(guān)香農(nóng)公式的問題，急求大牛解惑！
• C/I與香農(nóng)定理中的S/N的區(qū)別
• 求解答 關(guān)于香農(nóng)定律的題
• 截短的香農(nóng)公式求最大信干噪比
• 香農(nóng)公式？
• 更多 香農(nóng) 相關(guān)問答

• 香農(nóng)定律和無線網(wǎng)絡(luò)能量消耗極限
• 香農(nóng)定理與奈奎斯特準(zhǔn)則
• 香農(nóng)簡介和經(jīng)驗(yàn)交流
• 免費(fèi)共享通信鼻祖香農(nóng)的經(jīng)典論文
• 香農(nóng)定理AMathematical Theoryof Communication
• 通信數(shù)學(xué)理論中文版(香農(nóng)著)
• 更多 香農(nóng) 相關(guān)技術(shù)資料下載

回音 | 鴛鴦線 | 短消息中心 | CMNET | CMWAP | 基站識別碼 | 西門子 | 對數(shù)周期天線 | 時延 | 上下行 | 呼吸效應(yīng) | DCCC |