信道能無錯(cuò)誤傳送的最大信息率。對(duì)于只有一個(gè)信源和一個(gè)信宿的單用戶信道,它是一個(gè)數(shù),單位是比特每秒或比特每符號(hào)。它代表每秒或每個(gè)信道符號(hào)能傳送的最大信息量,或者說小于這個(gè)數(shù)的信息率必能在此信道中無錯(cuò)誤地傳送。對(duì)于多用戶信道,當(dāng)信源和信宿都是兩個(gè)時(shí),它是平面上的一條封閉線,如圖中的
OC1ABC2O。坐標(biāo)
R1和
R2分別是兩個(gè)信源所能傳送的信息率,也就是
R1和
R2落在這封閉線內(nèi)部時(shí)能無錯(cuò)誤地被傳送。當(dāng)有
m個(gè)信源和信宿時(shí),信道容量將是
m 維空間中一個(gè)凸區(qū)域的外界“面”。
信道容量 單用戶信道容量 信道是由輸入集
A、輸出集
B和條件概率
P(
y│
x),
y∈
B,
x∈
A所規(guī)定的。當(dāng)
B是離散集時(shí),歸一性要求就是
當(dāng)
B是連續(xù)集時(shí),
P(
y│
x)應(yīng)理解為條件概率密度,上式就成為積分形式。如
A和
B都是離散集,信道所傳送的信息率(每符號(hào))就是輸出符號(hào)和輸入符號(hào)之間的互信息
互信息與
P(
y│
x)有關(guān),也與輸入符號(hào)的概率
P(
x)有關(guān),后者可由改變編碼器來變動(dòng)。若能改變
P(
x)使
I(
X;
Y)最大,就能充分利用信道傳輸信息的能力,這個(gè)最大值就稱為單用戶信道容量
C,即
式中∑為所有允許的輸入符號(hào)概率分布的集。
當(dāng)
A或
B是連續(xù)集時(shí),相應(yīng)的概率應(yīng)理解為概率密度,求和號(hào)應(yīng)改為積分,其他都相仿。
多用戶信道容量 多用戶信道容量問題要復(fù)雜一些。以二址接入信道為例, 這種信道有兩個(gè)輸入
X2∈
A1和
X2∈
A2,分別與兩個(gè)信源聯(lián)結(jié),發(fā)送信息率分別為
R1和
R2;有一個(gè)輸出
Y,用它去提取這兩個(gè)信源的信息。若信道的條件概率為
P(
y│
x1,
x2),則
式中
I(
X1;
Y│
X2)為條件互信息,就是當(dāng)
X2已確知時(shí)從
Y中獲得的關(guān)于
X1的信息;
I(
X2;
Y│
X1)的意義相仿;
I(
X1,
X2;
Y)為無條件互信息,就是從
Y中獲得的關(guān)于
X1和
X2的信息。
E1和
E2分別為所有允許的輸入符號(hào)的概率分布
P1(
x1)和
P2(
x2)的集。
當(dāng)
X1和
X2相互獨(dú)立時(shí),這些條件互信息要比相應(yīng)的無條件互信息大,因此兩個(gè)信息率
R1和
R2的上界必為上面三個(gè)式子所限制。若調(diào)整
P1(
x1)和
P2(
x2)能使這些互信息都達(dá)到最大,就得到式中的
C1,
C2,
C0。
因此
R1和
R2的范圍將如圖中的一個(gè)截角四邊形區(qū)域,其外圍封閉線就是二址接入信道的容量上界。
m址接入信道有類似的結(jié)果。更一般的多用戶的情況還要復(fù)雜。
要使信道容量有確切的含義,尚須證明相應(yīng)的編碼定理,就是說當(dāng)信息率低于信道容量時(shí)必存在一種編碼方法,使之在信道中傳輸而不發(fā)生錯(cuò)誤或錯(cuò)誤可任意逼近于零。已經(jīng)過嚴(yán)格證明的只有無記憶單用戶信道和多用戶信道中的某些多址接入信道和退化型廣播信道。對(duì)某些有記憶信道,只能得到容量的上界和下界,確切容量尚不易規(guī)定。
計(jì)算 為了評(píng)價(jià)實(shí)際信道的利用率,應(yīng)具體計(jì)算已給信道的容量。這是一個(gè)求最大值的問題。由于互信息對(duì)輸入符號(hào)概率而言是凸函數(shù),其極值將為最大值,因此這也就是求極值的問題。對(duì)于離散信道,
P(
x)是一組數(shù),滿足非負(fù)性和歸一性等條件,可用拉格朗日乘子法求得條件極值。對(duì)于連續(xù)信道,
P(
x)是一函數(shù),須用變分法求條件極值。但是對(duì)于大部分信道,這些方法常常不能得到顯式的解,有時(shí)還會(huì)得到不允許的解,如求得的
P(
x)為負(fù)值等。為了工程目的,常把信道近似表示成某些易于解出容量的模式,如二元對(duì)稱信道和高斯信道。這兩種信道的容量分別為
C=1-H(ε)(比特/符號(hào))
和
(比特/秒)
后者當(dāng)
F→∞時(shí)為
(比特/符號(hào))
二元對(duì)稱信道的輸入集和輸出集都是二元集{0,1},條件概率為
P(0│0)=
P(1│1)=1-
ε,
P(0│1)=
P(1│0)=
ε,是對(duì)稱的。
ε一般稱為誤碼率或差錯(cuò)概率,而
H(
x)是熵函數(shù),即
H(x)=-xlog2x-(1-x)log2(1-x)
高斯信道的輸入集和輸出集都是實(shí)數(shù)集(-∞,∞);干擾是加性正態(tài)白噪聲或稱為高斯白噪聲,其單邊功率譜密度為
N0;信道是理想低通型的,通頻帶為
F;
S是允許的輸入平均功率的上限。
對(duì)于其他信道的容量計(jì)算曾提出過一些方法,但都有較多的限制。比較通用的解法是迭代計(jì)算,可借助計(jì)算機(jī)得到較精確的結(jié)果。運(yùn)算公式是
式中
可先任設(shè)一組
P(
x),例如等概率分布。用前一式求得各
Q(
x│
y),再用這些
Q(
x│
y)代入后一式求得新的各
P(
x);再用這些
P(
x)代入前一式去求新的
Q(
x│
y);依此迭代下去,直到新的
P(
x)與前次的
P(
x)已經(jīng)相等或差別小于允許值。用這時(shí)的
P(
x)去求
I(
X;
Y),就是所需的信道容量
C。
這些迭代公式也是用求極值法獲得的,只是引入了反條件概率
Q(
x│
y)作為一組新的自變量,且發(fā)現(xiàn)當(dāng)互信息
I(
X;
Y)取極值時(shí),
Q(
x│
y)恰好滿足作為反條件概率的條件。這種迭代運(yùn)算最后一定收斂,而誤差將按迭代次數(shù)
N的倒數(shù)趨向于零。也就是當(dāng)
N→∞時(shí),計(jì)算誤差將為零而得到精確值。當(dāng)
N足夠大時(shí),誤差就可小于允許值。此外,只要起始所設(shè)的
P(
x)滿足概率的非負(fù)性和歸一性條件,以后運(yùn)算結(jié)果不會(huì)出現(xiàn)
P(
x)大于1或小于零的情況,因此所得結(jié)果總是有效的。
這一公式僅適用于離散無記憶信道,對(duì)
P(
x)除了非負(fù)性和歸一性外沒有其他限制。對(duì)于連續(xù)信道,只需把輸入集和輸出集離散化,就仍可用迭代公式來計(jì)算。當(dāng)然如此形成的離散集,包含的元的數(shù)目越多,精度越高,計(jì)算將越繁。對(duì)于信息論中的其他量,如信息率失真函數(shù),可靠性函數(shù)等,都可以用類似的方法得到的各種迭代公式來計(jì)算。