實(shí)現(xiàn)C.E.仙農(nóng)的理想通信系統(tǒng)的各種理論問題。仙農(nóng)的信息論在規(guī)定了信源和信道概率特性的基礎(chǔ)上，解決了理想編、譯碼器的存在性問題。但是，具體分析實(shí)際信源和信道以及具體實(shí)現(xiàn)編、譯碼器，還涉及到許多技術(shù)性的理論問題,這就是通信理論的主要研究對(duì)象。
通信理論的形成始自1928年R.V.L.哈特利和H.奈奎斯特分別提出的信息概念和信息率與頻帶的關(guān)系，1942年N.維納和1956年В.А.卡切尼可夫各自引用統(tǒng)計(jì)觀點(diǎn)來說明噪聲和信號(hào)特性，1948年仙農(nóng)系統(tǒng)地提出了信息理論。這些理論被認(rèn)為是近代通信理論的基礎(chǔ)。數(shù)字技術(shù)，尤其是計(jì)算機(jī)技術(shù)的發(fā)展，對(duì)通信起著越來越大的影響，一方面它們使通信理論的許多原理得以實(shí)現(xiàn)，另一方面又提出許多待探討的理論問題。
通信理論的范圍相當(dāng)廣，它涉及仙農(nóng)的信息論、信源和信道分析中的概率論和隨機(jī)過程理論，以及形成信道的電磁波理論，如電波傳播理論、電磁兼容和干擾理論等。編碼器和譯碼器理論是通信理論的重要部分。編碼器是指從信源符號(hào)到適合信道傳輸?shù)姆?hào)之間的全部變換設(shè)備，分為信源編碼器和信道編碼器。譯碼器是指從信道到信宿(信息接受者)間的全部反變換設(shè)備。設(shè)計(jì)這些設(shè)備的主要目的是提高通信的有效性和可靠性，因而通信理論研究的主要問題在于降低信源的信息率，充分利用信道和提高通信質(zhì)量。
降低信源信息率 無失真地傳輸模擬信號(hào)所需要的信息率將趨于無限大。因此,通常是對(duì)模擬信號(hào)采樣,把各個(gè)樣值轉(zhuǎn)換成數(shù)字，即把連續(xù)量轉(zhuǎn)換成有限個(gè)量，這種轉(zhuǎn)換過程稱為量化。
設(shè)樣值
x在（- ∞，∞）之間取值,其概率密度函數(shù)為
p(
x)；要用
n個(gè)離散值
a1,
a2,…,
an來代表
x時(shí)，可把(- ∞，∞)區(qū)間分成
n個(gè)區(qū)間
A1,
A2，…，
An,某區(qū)間
Ar內(nèi)的所有
x值都用
ar來代表,這樣將會(huì)引入失真。可用失真函數(shù)
f(
x,
ar)來表示量化所引起的失真，其平均值為
當(dāng)失真函數(shù)等于(
x-
ar)
2時(shí),
D值常被稱為量化噪聲功率。
使平均失真值
D保持在容許范圍內(nèi)并使
n最小，稱為最佳量化。達(dá)到這種程度比較困難，因?yàn)楹茈y規(guī)定恰當(dāng)?shù)氖д婧瘮?shù)和精確地獲得實(shí)際傳輸對(duì)象的概率密度函數(shù)。通常只能按實(shí)現(xiàn)的可能性和合理性來折衷處理。話音信號(hào)的脈碼調(diào)制(PCM)采用樣值的對(duì)數(shù)進(jìn)行均勻量化,就是一個(gè)例子。
要進(jìn)一步壓縮信息率,可利用樣值之間的相關(guān)性,一種方法是預(yù)測(cè)。當(dāng)已知(
m-1)個(gè)樣值
x1，
x2,…，
x
后，可預(yù)先估計(jì)第
m個(gè)樣值
xm，即令
式中
φ是預(yù)測(cè)函數(shù)，
