用于3G無線網(wǎng)絡(luò)的精細(xì)可分級(jí)編碼技術(shù)

　　南京郵電學(xué)院信息工程系 潘 毅 龔建榮



　　摘 要：本文介紹了MPEG-4的一種可分級(jí)視頻編碼方案：精細(xì)可分級(jí)性（FGS）。FGS把視頻流編碼成兩個(gè)比特流：一個(gè)基本層（BL）和一個(gè)增強(qiáng)層（EL）。根據(jù)可獲的信道帶寬，或解碼器的容量，一部分的EL作為BL的補(bǔ)充被傳輸，從而使無線信道上傳輸?shù)囊曨l質(zhì)量得到優(yōu)化。同時(shí)還介紹了FGS的兩種先進(jìn)機(jī)制：頻率權(quán)重和選擇增強(qiáng)。


　　一、引言



　　隨著移動(dòng)通信的快速發(fā)展，移動(dòng)多媒體成為移動(dòng)通信發(fā)展的新熱點(diǎn)，第三代移動(dòng)通信（3G）標(biāo)準(zhǔn)的制訂使得通過無線信道傳輸視頻信息成為可能。與以往的壓縮標(biāo)準(zhǔn)相比，新的多媒體信息壓縮傳輸標(biāo)準(zhǔn)MPEG-4提供了一個(gè)更高的壓縮效率，速率上滿足了要求。然而無線信道的不可靠傳輸會(huì)將隨機(jī)誤碼引入比特流中，多經(jīng)傳播也會(huì)導(dǎo)致突發(fā)誤碼。MPEG-4提供了強(qiáng)健的糾錯(cuò)能力，它對(duì)誤碼恢復(fù)技術(shù)(包括再同步、數(shù)據(jù)恢復(fù)和錯(cuò)誤隱藏)都進(jìn)行了優(yōu)化，并且提供了1套明確的工具。實(shí)際上，在無線應(yīng)用中無線鏈路的可用帶寬是有限的，并且會(huì)因?yàn)榫W(wǎng)絡(luò)流量而在一個(gè)較寬的范圍內(nèi)變化。在這種情況下，編碼器不再知道信道的容量，不再使視頻質(zhì)量在一定比特率下達(dá)到最優(yōu)。因此，無線的視頻編碼是在一段給定的比特率范圍內(nèi)而不是原來的一個(gè)給定的比特率。傳統(tǒng)的視頻編碼是對(duì)于給定比特率的視頻進(jìn)行編碼，但對(duì)于無線應(yīng)用傳統(tǒng)的視頻編碼要有所改變�？煞旨�(jí)的視頻編碼能解決此類問題。



　　MPEG-4的可分級(jí)視頻編碼（分為SNR可分級(jí)、時(shí)間可分級(jí)、空間可分級(jí)）是一種靈活的視頻編碼方案，適用于應(yīng)用要求和環(huán)境因素在較大范圍內(nèi)變化的情況，因而獲得廣泛的應(yīng)用。在上述3種可分級(jí)視頻編碼基礎(chǔ)上，MPEG-4采納了一種更好的可分級(jí)的視頻編碼方案作為標(biāo)準(zhǔn)，即精細(xì)可分級(jí)視頻編碼（FGS）。在視頻比特流變化較大情況下，該方案在基本層基礎(chǔ)上加上增強(qiáng)層，從而在無線信道容量有較大變化的情況下還能獲得較好的視頻質(zhì)量。本文對(duì)3種可分級(jí)視頻編碼作了比較，主要介紹FGS的編碼方法及其改進(jìn)方案。



　　二、 分級(jí)視頻編碼



　　1.可分級(jí)編碼的概念



　　在傳統(tǒng)的視頻編碼中，視頻數(shù)據(jù)可以壓縮到小于或接近信道容量的比特率，解碼器根據(jù)從信道接收到的所有比特重組視頻信號(hào)。但是在這種模型中，必須滿足的條件是編碼器必須知道信道的容量。實(shí)際上，在無線應(yīng)用中由于信道容量的可變性，編碼器不再知道信道的容量，不能使視頻質(zhì)量在該比特率時(shí)達(dá)到最優(yōu)。因此，應(yīng)用于無線的視頻編碼是在一段給定的比特率范圍內(nèi)盡量使視頻質(zhì)量達(dá)到最優(yōu)而不是原來的給定的一個(gè)比特率。解碼器以能夠重組最優(yōu)質(zhì)量視頻的比特率對(duì)視頻流進(jìn)行部分解碼�？勺兊囊曨l編碼能解決此類問題。



　　可分級(jí)編碼的結(jié)構(gòu)框架，可分級(jí)的編碼器產(chǎn)生多個(gè)的子流。其中的一個(gè)壓縮子比特流是基本子流，它能單獨(dú)的解碼，提供較粗糙的視頻質(zhì)量。另一個(gè)壓縮子流被稱為增強(qiáng)子流，僅能和基本子流一起編碼，提供更優(yōu)的視頻質(zhì)量。完整的比特流（包括所有的子流）能提供更高的質(zhì)量。



　　2.分級(jí)視頻編碼的分類



　　(1)SNR可分級(jí)視頻編碼



　　SNR（信噪比）的可分級(jí)性是以相同的幀率和空間分辨率把原始視頻數(shù)據(jù)壓縮成兩層，但是它們的量化精度不同。首先，基本層比特流經(jīng)過基本層可變長解碼器（VLD）解碼。然后被反量化產(chǎn)生重建的DCT系數(shù)。增強(qiáng)的比特流在增強(qiáng)層進(jìn)行可變長解碼，DCT系數(shù)的增強(qiáng)殘數(shù)在增強(qiáng)層反量化時(shí)產(chǎn)生。因此，通過增加基本層的重建DCT系數(shù)和增強(qiáng)層的DCT殘數(shù)可獲得更高精確度的DCT系數(shù)。具有更高精確度的DCT被傳遞給反DCT單元產(chǎn)生重建圖像的主要?dú)垟?shù)，這些殘數(shù)被加到從前一幀來的運(yùn)動(dòng)補(bǔ)償塊。



　　(2)時(shí)間可分級(jí)視頻編碼



　　時(shí)間可分級(jí)性是把原始視頻數(shù)據(jù)以相同的空間分辨率，不同的幀率壓縮成兩層。基本層以低幀率編碼，相反增強(qiáng)層以較高的幀率編碼提供缺少幀的信息。因此時(shí)間可分級(jí)的編碼效率較高，接近于不可變的編碼。在基本層只采用P幀預(yù)測(cè)，而在增強(qiáng)層采用來自基本層的P幀或B幀或者來自增強(qiáng)層的P幀進(jìn)行預(yù)測(cè)。



　　(3)空間可分級(jí)編碼



　　時(shí)間可分級(jí)性是把原始視頻數(shù)據(jù)以相同的幀率，不同的空間分辨率壓縮成兩層�；�本層以較低的空間分辨率編碼。重建的基本層的圖像進(jìn)行超抽樣以形成在增強(qiáng)層高分辨率圖像的預(yù)測(cè)。如果基本層的空間分辨率和增強(qiáng)層的相同，也就是超抽樣系數(shù)為1，這時(shí)空間可分級(jí)解碼器被看成是一個(gè)SNR可分級(jí)解碼器。



　　2.精細(xì)可分級(jí)視頻編碼 (FGS)(fine granularity scalability)



　　(2)精細(xì)可分級(jí)視頻編碼原理



　　FGS已被標(biāo)準(zhǔn)化成為MPEG-4的一部分。MPEG-4的FGS編碼方式是把視頻流編碼成兩個(gè)比特流：一個(gè)非分級(jí)運(yùn)動(dòng)補(bǔ)償?shù)幕�本層（BL），和一個(gè)精細(xì)可分級(jí)的增強(qiáng)層（EL）視頻流。根據(jù)可獲的信道帶寬，或解碼器的容量，僅有一部分的EL和BL一起得到傳輸。FGS的幀結(jié)構(gòu)也有一系列豐富的工具，目的在于提高客觀和主觀的FGS的視頻編碼方法的質(zhì)量



　　FGS編碼器把原始視頻流壓縮成兩個(gè)子流，一個(gè)基本層比特流和一個(gè)增強(qiáng)層比特流�；�本層能單獨(dú)進(jìn)行解碼提供較粗糙的視頻質(zhì)量。增強(qiáng)層僅能和基本層一起編碼，做為補(bǔ)充提供更優(yōu)的視頻質(zhì)量。和其他的可分級(jí)編碼方法不同，F(xiàn)GS編碼器對(duì)增強(qiáng)層視頻流采用比特平面編碼。正如我們所知，在傳統(tǒng)的DCT編碼，量化的DCT系數(shù)采用游程（run-level）編碼。在一個(gè)非零的DCT系數(shù)前的連續(xù)為零的系數(shù)的數(shù)目被稱為“游run”，而非零DCT系數(shù)的絕對(duì)值被稱為“程level”。比特平面編碼方式和游程編碼方式的最大區(qū)別在于，比特平面編碼方式把每個(gè)量化的DCT的系數(shù)看成幾個(gè)比特中的一個(gè)二進(jìn)制整數(shù)，而不是一個(gè)確定值的十進(jìn)制整數(shù)。因此采用比特平面編碼方式的任意編碼比特能重建DCT的系數(shù)。采用比特平面編碼方式作為補(bǔ)充，F(xiàn)GS可獲得對(duì)增強(qiáng)層的連續(xù)的比特控制。這是因?yàn)樵鰪?qiáng)層比特流能在任意地方被截?cái)鄰亩�獲得對(duì)象的比特流。任意的從增強(qiáng)層接收的比特能用來提高視頻的質(zhì)量，這在其它的可分級(jí)視頻編碼方式是不可能的。這也是FGS優(yōu)其它可分級(jí)編碼方式的原因。



　　進(jìn)一步提高FGS增強(qiáng)視頻的性能，兩個(gè)先進(jìn)的機(jī)制被FGS采用，即頻率權(quán)重和選擇增強(qiáng)。前者意味不同的頻率成分采用不同的優(yōu)先權(quán)，因此更多重要的視頻頻率成分的比特比其他頻率成分的優(yōu)先進(jìn)入編碼比特流。與前者相似，后者是在一幀中對(duì)不同的空間位置采用不同的優(yōu)先權(quán)，因此一幀中越重要的視頻部分有越多的比特優(yōu)先于該幀的其他部分進(jìn)入編碼比特流。



　　(2)頻率權(quán)重（frequency weighting）



　　頻率權(quán)重（FW）挖掘人類視頻系統(tǒng)對(duì)各種頻率的敏感性的差異，提高在低傳輸比特速率情況下FGS的可視質(zhì)量。



　　正如我們所知，不同的DCT系數(shù)可獲得不同的視頻的質(zhì)量。通常低頻的DCT系數(shù)的精確度比高頻的DCT系數(shù)更重要。更多比特的低頻DCT系數(shù)可獲得更好的視頻質(zhì)量。因此，低頻DCT系數(shù)優(yōu)先于高頻的進(jìn)入增強(qiáng)比特流，因此它們更容易被包括在一個(gè)被截?cái)嗟谋忍亓�。為此，頻率重量機(jī)制被包括在FGS中。



　　頻率權(quán)重采用一個(gè)FW矩陣 選擇在每個(gè)DCT塊中重要的DCT系數(shù)進(jìn)行重新加權(quán)，因此進(jìn)行比特平面編碼的參數(shù)的重要性通過權(quán)重矩陣得到了優(yōu)先權(quán)。每個(gè)FW矩陣的元素 指明在該塊中相應(yīng)的FGS的 DCT參數(shù)比特層變換的數(shù)目。每個(gè)比特平面的變換等價(jià)于FGS的DCT參數(shù)乘上權(quán)值2。



　　(3)選擇增強(qiáng)（selective enhancement）



　　對(duì)于一個(gè)視頻幀，它的某一部分可能比其他部分在視覺效果上更重要。因此至關(guān)重要的比特會(huì)得到優(yōu)先權(quán)，以致它們更有可能被包括進(jìn)被截?cái)嗟谋忍亓鳌?br />


　　在MPEG-2，MPEG-4和H.26L標(biāo)準(zhǔn)中，通過控制在微塊中的量化系數(shù)，自適應(yīng)量化(AQ)被用來提高編碼的視頻質(zhì)量。AQ在比特層信號(hào)必須通過不同的一系列技術(shù)獲得�；�于FGS的AQ通過在一個(gè)FGS增強(qiáng)層幀中選擇微塊的比特平面變化而獲得。比特平面變換等于乘于因子2。



　　在編碼器側(cè)，基于選擇增強(qiáng)的比特平面變換，在冗余FGS信號(hào)得到優(yōu)先掃描和比特平面的熵編碼。在熵解碼和優(yōu)先計(jì)算FGS冗余信號(hào)的反DCT后，在解碼器進(jìn)行比特平面的反變換。



　　強(qiáng)調(diào)SE是一個(gè)相關(guān)過程是很重要的。僅有有限數(shù)目的微塊將被選擇增強(qiáng)，目的是在低比特率能獲得一些視頻質(zhì)量的改進(jìn)。更進(jìn)一步，基于前面介紹的SE變換因子（如se）和優(yōu)先級(jí)高的比特層被編碼（如N’），采用SE后可以降低FGS編碼器的率失真。然而FGS的SE的目的不是提高率失真的性能，而是提高需要的視頻的質(zhì)量。在微塊基礎(chǔ)上加上SE，已選擇的DCT系數(shù)的比特平面變換對(duì)FGS編解碼系統(tǒng)能獲得更進(jìn)一步的視頻質(zhì)量的改進(jìn)。



　　三、FGS的一些改進(jìn)方案



　　為了能應(yīng)用于一個(gè)比特流變化在較大的范圍情況，F(xiàn)GS和其他的可分級(jí)視頻編碼結(jié)合起來是必要的。下面提出3個(gè)改進(jìn)方法。



　　1.1FGST方法



　　FGST指FGS的時(shí)間可分級(jí)性，它是把FGS和時(shí)間可分級(jí)相結(jié)合，因此不但量化精確度可分級(jí)，而且時(shí)間分辨率（幀率）也是可分級(jí)的。在該方案中，由于時(shí)間增強(qiáng)幀的時(shí)間預(yù)測(cè)在基本層中是被限制的，每個(gè)時(shí)間增強(qiáng)幀的質(zhì)量不會(huì)被其他的幀影響，所以在時(shí)間增強(qiáng)幀中采用比特面對(duì)完整的DTC參數(shù)編碼是沒有問題的。對(duì)于FGST，不僅時(shí)間增強(qiáng)幀能采用規(guī)則的時(shí)間可分級(jí)，而且量化精確在每個(gè)時(shí)間增強(qiáng)幀中是可分級(jí)的。因此在時(shí)間增強(qiáng)幀中采用全比特面編碼的編碼效率比規(guī)則時(shí)間可分級(jí)的DCT參數(shù)編碼高。這種方法補(bǔ)償在增強(qiáng)層中不允許預(yù)測(cè)而引起的編碼效率損失。



　　2.FGSS方式



　　與FGST類似，F(xiàn)GSS指FGS的空間可分級(jí)性，是將空間可分級(jí)性與FGS相結(jié)合。在FGSS方案中，基本層仍然以傳統(tǒng)的空間編碼方式來編碼。然而，增強(qiáng)層采用比特平面編碼技術(shù)。圖11說明了FGSS的編碼方案的結(jié)構(gòu)。從圖中看出輸入的視頻序列首先被亞抽樣（down-sampled），并且采用任何一種現(xiàn)有的非可分級(jí)的編碼技術(shù)以低的分辨率壓縮成一個(gè)給定比特率視頻流。在傳統(tǒng)的空間可分級(jí)編碼中，視頻將被超抽樣（up-sampled）為增強(qiáng)層編碼提供高的分辨率。然而，對(duì)于FGSS，如果基本層的比特率很低，幾個(gè)FGS較低的增強(qiáng)層首先被用來在低分辨率情況下增強(qiáng)視頻質(zhì)量。如果在基本層中低分辨率的視頻質(zhì)量足夠好，視頻流將超抽樣以便在增強(qiáng)層中空間分辨率能立即調(diào)整到高的分辨率。因此低分辨率的增強(qiáng)層是可選的，它依賴一些因素，如基本層的比特率，序列內(nèi)容，應(yīng)用要求等等。

3.PFGS方法



　　PFGS方法，即漸進(jìn)FGS，具有FGS的所以特性，如精細(xì)比特率可分級(jí)性，信道適應(yīng)性和容錯(cuò)性。相反，PFGS在預(yù)測(cè)增強(qiáng)層編碼時(shí)采用多個(gè)高質(zhì)量的參考，而不是總在基本層上采用。使用高質(zhì)量的參考使運(yùn)動(dòng)估計(jì)更精確，因此PFGS能提高編碼效率。但是增強(qiáng)層的比特比基本層的更容易丟失，因此它會(huì)使編碼器不可靠。PFGS提出一種解決如圖12所示的問題的方法，它說明了PFGS的框架結(jié)構(gòu)。我們可以看到預(yù)測(cè)路徑從低層到高層要經(jīng)過幾個(gè)幀的，這使得PFGS對(duì)容錯(cuò)性具有魯棒和高質(zhì)量。例如，如果增強(qiáng)層的第一幀被破壞或沒有受到，增強(qiáng)層的第2，3，4幀將會(huì)因?yàn)閬G失預(yù)測(cè)參考而受影響。但第五幀后就會(huì)恢復(fù)正常，因?yàn)閺牡谝粠�的低層到第五幀的高層有一條預(yù)測(cè)路徑，它使該方案具有魯棒性。



　　四、結(jié)束語



　　第三代移動(dòng)通信(3G)技術(shù)日益成熟并逐步走向商用化，相對(duì)第二代移動(dòng)通信系統(tǒng)，3G的最鮮明的特點(diǎn)是提供高速無線傳輸速率，為多媒體業(yè)務(wù)提供必要的帶寬。MPEG-4精細(xì)可分級(jí)視頻編碼技術(shù)使視頻在無線信道傳輸情況下還能獲得較好的視頻質(zhì)量，雖然它已制定成標(biāo)準(zhǔn)，但仍需要進(jìn)一步完善。



　　作者簡(jiǎn)介



　　潘毅：南京郵電學(xué)院信息工程系碩士研究生，研究方向：信息網(wǎng)絡(luò)與多媒體通信。



　　龔建榮：南京郵電學(xué)院信息工程系副教授，博士，研究生導(dǎo)師，研究領(lǐng)域：信息網(wǎng)絡(luò)，多媒體通信，F(xiàn)PGS/CPLD.ASIC設(shè)計(jì)。




----《中國多媒體視訊》