既然信源編碼的基本目的是提高碼字序列中碼元的平均信息量，那么，一切旨在減少剩余度而對信源輸出符號序列所施行的變換或處理，都可以在這種意義下歸入信源編碼的范疇，例如過濾、預(yù)測、域變換和數(shù)據(jù)壓縮等。當(dāng)然，這些都是廣義的信源編碼。
一般來說，減少信源輸出符號序列中的剩余度、提高符號平均信息量的基本途徑有兩個(gè)：①使序列中的各個(gè)符號盡可能地互相獨(dú)立；②使序列中各個(gè)符號的出現(xiàn)概率盡可能地相等。前者稱為解除相關(guān)性，后者稱為概率均勻化。
信源編碼的一般問題可以表述如下：若某信源的輸出為長度等于
M的符號序列集合
式中符號
A為信源符號表，它包含著
K個(gè)不同的符號，
A=｛
