信道能無錯誤傳送的最大信息率。對于只有一個信源和一個信宿的單用戶信道,它是一個數(shù),單位是比特每秒或比特每符號。它代表每秒或每個信道符號能傳送的最大信息量,或者說小于這個數(shù)的信息率必能在此信道中無錯誤地傳送。對于多用戶信道,當信源和信宿都是兩個時,它是平面上的一條封閉線,如圖中的
OC1ABC2O。坐標
R1和
R2分別是兩個信源所能傳送的信息率,也就是
R1和
R2落在這封閉線內(nèi)部時能無錯誤地被傳送。當有
m個信源和信宿時,信道容量將是
m 維空間中一個凸區(qū)域的外界“面”。
信道容量 單用戶信道容量 信道是由輸入集
A、輸出集
B和條件概率
P(
y│
x),
y∈
B,
x∈
A所規(guī)定的。當
B是離散集時,歸一性要求就是

當
B是連續(xù)集時,
P(
y│
x)應(yīng)理解為條件概率密度,上式就成為積分形式。如
A和
B都是離散集,信道所傳送的信息率(每符號)就是輸出符號和輸入符號之間的互信息

互信息與
P(
y│
x)有關(guān),也與輸入符號的概率
P(
x)有關(guān),后者可由改變編碼器來變動。若能改變
P(
x)使
I(
X;
Y)最大,就能充分利用信道傳輸信息的能力,這個最大值就稱為單用戶信道容量
C,即

式中∑為所有允許的輸入符號概率分布的集。
當
A或
B是連續(xù)集時,相應(yīng)的概率應(yīng)理解為概率密度,求和號應(yīng)改為積分,其他都相仿。
多用戶信道容量 多用戶信道容量問題要復(fù)雜一些。以二址接入信道為例, 這種信道有兩個輸入
X2∈
A1和
X2∈
A2,分別與兩個信源聯(lián)結(jié),發(fā)送信息率分別為
R1和
R2;有一個輸出
Y,用它去提取這兩個信源的信息。若信道的條件概率為
P(
y│
x1,
x2),則

式中
I(
X1;
Y│
X2)為條件互信息,就是當
X2已確知時從
Y中獲得的關(guān)于
X1的信息;
I(
X2;
Y│
X1)的意義相仿;
I(
X1,
X2;
Y)為無條件互信息,就是從
Y中獲得的關(guān)于
X1和
X2的信息。
E1和
E2分別為所有允許的輸入符號的概率分布
P1(
x1)和
P2(
x2)的集。
當
X1和
X2相互獨立時,這些條件互信息要比相應(yīng)的無條件互信息大,因此兩個信息率
R1和
R2的上界必為上面三個式子所限制。若調(diào)整
P1(
x1)和
P2(
x2)能使這些互信息都達到最大,就得到式中的
C1,
C2,
C0。

因此
R1和
R2的范圍將如圖中的一個截角四邊形區(qū)域,其外圍封閉線就是二址接入信道的容量上界。
m址接入信道有類似的結(jié)果。更一般的多用戶的情況還要復(fù)雜。
要使信道容量有確切的含義,尚須證明相應(yīng)的編碼定理,就是說當信息率低于信道容量時必存在一種編碼方法,使之在信道中傳輸而不發(fā)生錯誤或錯誤可任意逼近于零。已經(jīng)過嚴格證明的只有無記憶單用戶信道和多用戶信道中的某些多址接入信道和退化型廣播信道。對某些有記憶信道,只能得到容量的上界和下界,確切容量尚不易規(guī)定。
計算 為了評價實際信道的利用率,應(yīng)具體計算已給信道的容量。這是一個求最大值的問題。由于互信息對輸入符號概率而言是凸函數(shù),其極值將為最大值,因此這也就是求極值的問題。對于離散信道,
P(
x)是一組數(shù),滿足非負性和歸一性等條件,可用拉格朗日乘子法求得條件極值。對于連續(xù)信道,
P(
x)是一函數(shù),須用變分法求條件極值。但是對于大部分信道,這些方法常常不能得到顯式的解,有時還會得到不允許的解,如求得的
P(
x)為負值等。為了工程目的,常把信道近似表示成某些易于解出容量的模式,如二元對稱信道和高斯信道。這兩種信道的容量分別為
C=1-H(ε)(比特/符號)
和
(比特/秒)
后者當
F→∞時為
(比特/符號)
二元對稱信道的輸入集和輸出集都是二元集{0,1},條件概率為
P(0│0)=
P(1│1)=1-
ε,
P(0│1)=
P(1│0)=
ε,是對稱的。
ε一般稱為誤碼率或差錯概率,而
H(
x)是熵函數(shù),即
H(x)=-xlog2x-(1-x)log2(1-x)
高斯信道的輸入集和輸出集都是實數(shù)集(-∞,∞);干擾是加性正態(tài)白噪聲或稱為高斯白噪聲,其單邊功率譜密度為
N0;信道是理想低通型的,通頻帶為
F;
S是允許的輸入平均功率的上限。
對于其他信道的容量計算曾提出過一些方法,但都有較多的限制。比較通用的解法是迭代計算,可借助計算機得到較精確的結(jié)果。運算公式是

式中

可先任設(shè)一組
P(
x),例如等概率分布。用前一式求得各
Q(
x│
y),再用這些
Q(
x│
y)代入后一式求得新的各
P(
x);再用這些
P(
x)代入前一式去求新的
Q(
x│
y);依此迭代下去,直到新的
P(
x)與前次的
P(
x)已經(jīng)相等或差別小于允許值。用這時的
P(
x)去求
I(
X;
Y),就是所需的信道容量
C。
這些迭代公式也是用求極值法獲得的,只是引入了反條件概率
Q(
x│
y)作為一組新的自變量,且發(fā)現(xiàn)當互信息
I(
X;
Y)取極值時,
Q(
x│
y)恰好滿足作為反條件概率的條件。這種迭代運算最后一定收斂,而誤差將按迭代次數(shù)
N的倒數(shù)趨向于零。也就是當
N→∞時,計算誤差將為零而得到精確值。當
N足夠大時,誤差就可小于允許值。此外,只要起始所設(shè)的
P(
x)滿足概率的非負性和歸一性條件,以后運算結(jié)果不會出現(xiàn)
P(
x)大于1或小于零的情況,因此所得結(jié)果總是有效的。
這一公式僅適用于離散無記憶信道,對
P(
x)除了非負性和歸一性外沒有其他限制。對于連續(xù)信道,只需把輸入集和輸出集離散化,就仍可用迭代公式來計算。當然如此形成的離散集,包含的元的數(shù)目越多,精度越高,計算將越繁。對于信息論中的其他量,如信息率失真函數(shù),可靠性函數(shù)等,都可以用類似的方法得到的各種迭代公式來計算。