用于3G無線網(wǎng)絡(luò)的精細可分級編碼技術(shù)

　　南京郵電學(xué)院信息工程系 潘 毅 龔建榮



　　摘 要：本文介紹了MPEG-4的一種可分級視頻編碼方案：精細可分級性（FGS）。FGS把視頻流編碼成兩個比特流：一個基本層（BL）和一個增強層（EL）。根據(jù)可獲的信道帶寬，或解碼器的容量，一部分的EL作為BL的補充被傳輸，從而使無線信道上傳輸?shù)囊曨l質(zhì)量得到優(yōu)化。同時還介紹了FGS的兩種先進機制：頻率權(quán)重和選擇增強。


　　一、引言



　　隨著移動通信的快速發(fā)展，移動多媒體成為移動通信發(fā)展的新熱點，第三代移動通信（3G）標準的制訂使得通過無線信道傳輸視頻信息成為可能。與以往的壓縮標準相比，新的多媒體信息壓縮傳輸標準MPEG-4提供了一個更高的壓縮效率，速率上滿足了要求。然而無線信道的不可靠傳輸會將隨機誤碼引入比特流中，多經(jīng)傳播也會導(dǎo)致突發(fā)誤碼。MPEG-4提供了強健的糾錯能力，它對誤碼恢復(fù)技術(shù)(包括再同步、數(shù)據(jù)恢復(fù)和錯誤隱藏)都進行了優(yōu)化，并且提供了1套明確的工具。實際上，在無線應(yīng)用中無線鏈路的可用帶寬是有限的，并且會因為網(wǎng)絡(luò)流量而在一個較寬的范圍內(nèi)變化。在這種情況下，編碼器不再知道信道的容量，不再使視頻質(zhì)量在一定比特率下達到最優(yōu)。因此，無線的視頻編碼是在一段給定的比特率范圍內(nèi)而不是原來的一個給定的比特率。傳統(tǒng)的視頻編碼是對于給定比特率的視頻進行編碼，但對于無線應(yīng)用傳統(tǒng)的視頻編碼要有所改變�？煞旨壍囊曨l編碼能解決此類問題。



　　MPEG-4的可分級視頻編碼（分為SNR可分級、時間可分級、空間可分級）是一種靈活的視頻編碼方案，適用于應(yīng)用要求和環(huán)境因素在較大范圍內(nèi)變化的情況，因而獲得廣泛的應(yīng)用。在上述3種可分級視頻編碼基礎(chǔ)上，MPEG-4采納了一種更好的可分級的視頻編碼方案作為標準，即精細可分級視頻編碼（FGS）。在視頻比特流變化較大情況下，該方案在基本層基礎(chǔ)上加上增強層，從而在無線信道容量有較大變化的情況下還能獲得較好的視頻質(zhì)量。本文對3種可分級視頻編碼作了比較，主要介紹FGS的編碼方法及其改進方案。



　　二、 分級視頻編碼



　　1.可分級編碼的概念



　　在傳統(tǒng)的視頻編碼中，視頻數(shù)據(jù)可以壓縮到小于或接近信道容量的比特率，解碼器根據(jù)從信道接收到的所有比特重組視頻信號。但是在這種模型中，必須滿足的條件是編碼器必須知道信道的容量。實際上，在無線應(yīng)用中由于信道容量的可變性，編碼器不再知道信道的容量，不能使視頻質(zhì)量在該比特率時達到最優(yōu)。因此，應(yīng)用于無線的視頻編碼是在一段給定的比特率范圍內(nèi)盡量使視頻質(zhì)量達到最優(yōu)而不是原來的給定的一個比特率。解碼器以能夠重組最優(yōu)質(zhì)量視頻的比特率對視頻流進行部分解碼�？勺兊囊曨l編碼能解決此類問題。



　　可分級編碼的結(jié)構(gòu)框架，可分級的編碼器產(chǎn)生多個的子流。其中的一個壓縮子比特流是基本子流，它能單獨的解碼，提供較粗糙的視頻質(zhì)量。另一個壓縮子流被稱為增強子流，僅能和基本子流一起編碼，提供更優(yōu)的視頻質(zhì)量。完整的比特流（包括所有的子流）能提供更高的質(zhì)量。



　　2.分級視頻編碼的分類



　　(1)SNR可分級視頻編碼



　　SNR（信噪比）的可分級性是以相同的幀率和空間分辨率把原始視頻數(shù)據(jù)壓縮成兩層，但是它們的量化精度不同。首先，基本層比特流經(jīng)過基本層可變長解碼器（VLD）解碼。然后被反量化產(chǎn)生重建的DCT系數(shù)。增強的比特流在增強層進行可變長解碼，DCT系數(shù)的增強殘數(shù)在增強層反量化時產(chǎn)生。因此，通過增加基本層的重建DCT系數(shù)和增強層的DCT殘數(shù)可獲得更高精確度的DCT系數(shù)。具有更高精確度的DCT被傳遞給反DCT單元產(chǎn)生重建圖像的主要殘數(shù)，這些殘數(shù)被加到從前一幀來的運動補償塊。



　　(2)時間可分級視頻編碼



　　時間可分級性是把原始視頻數(shù)據(jù)以相同的空間分辨率，不同的幀率壓縮成兩層�；�本層以低幀率編碼，相反增強層以較高的幀率編碼提供缺少幀的信息。因此時間可分級的編碼效率較高，接近于不可變的編碼。在基本層只采用P幀預(yù)測，而在增強層采用來自基本層的P幀或B幀或者來自增強層的P幀進行預(yù)測。



　　(3)空間可分級編碼



　　時間可分級性是把原始視頻數(shù)據(jù)以相同的幀率，不同的空間分辨率壓縮成兩層�；�本層以較低的空間分辨率編碼。重建的基本層的圖像進行超抽樣以形成在增強層高分辨率圖像的預(yù)測。如果基本層的空間分辨率和增強層的相同，也就是超抽樣系數(shù)為1，這時空間可分級解碼器被看成是一個SNR可分級解碼器。



　　2.精細可分級視頻編碼 (FGS)(fine granularity scalability)



　　(2)精細可分級視頻編碼原理



　　FGS已被標準化成為MPEG-4的一部分。MPEG-4的FGS編碼方式是把視頻流編碼成兩個比特流：一個非分級運動補償?shù)幕�本層（BL），和一個精細可分級的增強層（EL）視頻流。根據(jù)可獲的信道帶寬，或解碼器的容量，僅有一部分的EL和BL一起得到傳輸。FGS的幀結(jié)構(gòu)也有一系列豐富的工具，目的在于提高客觀和主觀的FGS的視頻編碼方法的質(zhì)量



　　FGS編碼器把原始視頻流壓縮成兩個子流，一個基本層比特流和一個增強層比特流�；�本層能單獨進行解碼提供較粗糙的視頻質(zhì)量。增強層僅能和基本層一起編碼，做為補充提供更優(yōu)的視頻質(zhì)量。和其他的可分級編碼方法不同，F(xiàn)GS編碼器對增強層視頻流采用比特平面編碼。正如我們所知，在傳統(tǒng)的DCT編碼，量化的DCT系數(shù)采用游程（run-level）編碼。在一個非零的DCT系數(shù)前的連續(xù)為零的系數(shù)的數(shù)目被稱為“游run”，而非零DCT系數(shù)的絕對值被稱為“程level”。比特平面編碼方式和游程編碼方式的最大區(qū)別在于，比特平面編碼方式把每個量化的DCT的系數(shù)看成幾個比特中的一個二進制整數(shù)，而不是一個確定值的十進制整數(shù)。因此采用比特平面編碼方式的任意編碼比特能重建DCT的系數(shù)。采用比特平面編碼方式作為補充，F(xiàn)GS可獲得對增強層的連續(xù)的比特控制。這是因為增強層比特流能在任意地方被截斷從而獲得對象的比特流。任意的從增強層接收的比特能用來提高視頻的質(zhì)量，這在其它的可分級視頻編碼方式是不可能的。這也是FGS優(yōu)其它可分級編碼方式的原因。



　　進一步提高FGS增強視頻的性能，兩個先進的機制被FGS采用，即頻率權(quán)重和選擇增強。前者意味不同的頻率成分采用不同的優(yōu)先權(quán)，因此更多重要的視頻頻率成分的比特比其他頻率成分的優(yōu)先進入編碼比特流。與前者相似，后者是在一幀中對不同的空間位置采用不同的優(yōu)先權(quán)，因此一幀中越重要的視頻部分有越多的比特優(yōu)先于該幀的其他部分進入編碼比特流。



　　(2)頻率權(quán)重（frequency weighting）



　　頻率權(quán)重（FW）挖掘人類視頻系統(tǒng)對各種頻率的敏感性的差異，提高在低傳輸比特速率情況下FGS的可視質(zhì)量。



　　正如我們所知，不同的DCT系數(shù)可獲得不同的視頻的質(zhì)量。通常低頻的DCT系數(shù)的精確度比高頻的DCT系數(shù)更重要。更多比特的低頻DCT系數(shù)可獲得更好的視頻質(zhì)量。因此，低頻DCT系數(shù)優(yōu)先于高頻的進入增強比特流，因此它們更容易被包括在一個被截斷的比特流。為此，頻率重量機制被包括在FGS中。



　　頻率權(quán)重采用一個FW矩陣 選擇在每個DCT塊中重要的DCT系數(shù)進行重新加權(quán)，因此進行比特平面編碼的參數(shù)的重要性通過權(quán)重矩陣得到了優(yōu)先權(quán)。每個FW矩陣的元素 指明在該塊中相應(yīng)的FGS的 DCT參數(shù)比特層變換的數(shù)目。每個比特平面的變換等價于FGS的DCT參數(shù)乘上權(quán)值2。



　　(3)選擇增強（selective enhancement）



　　對于一個視頻幀，它的某一部分可能比其他部分在視覺效果上更重要。因此至關(guān)重要的比特會得到優(yōu)先權(quán)，以致它們更有可能被包括進被截斷的比特流。



　　在MPEG-2，MPEG-4和H.26L標準中，通過控制在微塊中的量化系數(shù)，自適應(yīng)量化(AQ)被用來提高編碼的視頻質(zhì)量。AQ在比特層信號必須通過不同的一系列技術(shù)獲得�；�于FGS的AQ通過在一個FGS增強層幀中選擇微塊的比特平面變化而獲得。比特平面變換等于乘于因子2。



　　在編碼器側(cè)，基于選擇增強的比特平面變換，在冗余FGS信號得到優(yōu)先掃描和比特平面的熵編碼。在熵解碼和優(yōu)先計算FGS冗余信號的反DCT后，在解碼器進行比特平面的反變換。



　　強調(diào)SE是一個相關(guān)過程是很重要的。僅有有限數(shù)目的微塊將被選擇增強，目的是在低比特率能獲得一些視頻質(zhì)量的改進。更進一步，基于前面介紹的SE變換因子（如se）和優(yōu)先級高的比特層被編碼（如N’），采用SE后可以降低FGS編碼器的率失真。然而FGS的SE的目的不是提高率失真的性能，而是提高需要的視頻的質(zhì)量。在微塊基礎(chǔ)上加上SE，已選擇的DCT系數(shù)的比特平面變換對FGS編解碼系統(tǒng)能獲得更進一步的視頻質(zhì)量的改進。



　　三、FGS的一些改進方案



　　為了能應(yīng)用于一個比特流變化在較大的范圍情況，F(xiàn)GS和其他的可分級視頻編碼結(jié)合起來是必要的。下面提出3個改進方法。



　　1.1FGST方法



　　FGST指FGS的時間可分級性，它是把FGS和時間可分級相結(jié)合，因此不但量化精確度可分級，而且時間分辨率（幀率）也是可分級的。在該方案中，由于時間增強幀的時間預(yù)測在基本層中是被限制的，每個時間增強幀的質(zhì)量不會被其他的幀影響，所以在時間增強幀中采用比特面對完整的DTC參數(shù)編碼是沒有問題的。對于FGST，不僅時間增強幀能采用規(guī)則的時間可分級，而且量化精確在每個時間增強幀中是可分級的。因此在時間增強幀中采用全比特面編碼的編碼效率比規(guī)則時間可分級的DCT參數(shù)編碼高。這種方法補償在增強層中不允許預(yù)測而引起的編碼效率損失。



　　2.FGSS方式



　　與FGST類似，F(xiàn)GSS指FGS的空間可分級性，是將空間可分級性與FGS相結(jié)合。在FGSS方案中，基本層仍然以傳統(tǒng)的空間編碼方式來編碼。然而，增強層采用比特平面編碼技術(shù)。圖11說明了FGSS的編碼方案的結(jié)構(gòu)。從圖中看出輸入的視頻序列首先被亞抽樣（down-sampled），并且采用任何一種現(xiàn)有的非可分級的編碼技術(shù)以低的分辨率壓縮成一個給定比特率視頻流。在傳統(tǒng)的空間可分級編碼中，視頻將被超抽樣（up-sampled）為增強層編碼提供高的分辨率。然而，對于FGSS，如果基本層的比特率很低，幾個FGS較低的增強層首先被用來在低分辨率情況下增強視頻質(zhì)量。如果在基本層中低分辨率的視頻質(zhì)量足夠好，視頻流將超抽樣以便在增強層中空間分辨率能立即調(diào)整到高的分辨率。因此低分辨率的增強層是可選的，它依賴一些因素，如基本層的比特率，序列內(nèi)容，應(yīng)用要求等等。

3.PFGS方法



　　PFGS方法，即漸進FGS，具有FGS的所以特性，如精細比特率可分級性，信道適應(yīng)性和容錯性。相反，PFGS在預(yù)測增強層編碼時采用多個高質(zhì)量的參考，而不是總在基本層上采用。使用高質(zhì)量的參考使運動估計更精確，因此PFGS能提高編碼效率。但是增強層的比特比基本層的更容易丟失，因此它會使編碼器不可靠。PFGS提出一種解決如圖12所示的問題的方法，它說明了PFGS的框架結(jié)構(gòu)。我們可以看到預(yù)測路徑從低層到高層要經(jīng)過幾個幀的，這使得PFGS對容錯性具有魯棒和高質(zhì)量。例如，如果增強層的第一幀被破壞或沒有受到，增強層的第2，3，4幀將會因為丟失預(yù)測參考而受影響。但第五幀后就會恢復(fù)正常，因為從第一幀的低層到第五幀的高層有一條預(yù)測路徑，它使該方案具有魯棒性。



　　四、結(jié)束語



　　第三代移動通信(3G)技術(shù)日益成熟并逐步走向商用化，相對第二代移動通信系統(tǒng)，3G的最鮮明的特點是提供高速無線傳輸速率，為多媒體業(yè)務(wù)提供必要的帶寬。MPEG-4精細可分級視頻編碼技術(shù)使視頻在無線信道傳輸情況下還能獲得較好的視頻質(zhì)量，雖然它已制定成標準，但仍需要進一步完善。



　　作者簡介



　　潘毅：南京郵電學(xué)院信息工程系碩士研究生，研究方向：信息網(wǎng)絡(luò)與多媒體通信。



　　龔建榮：南京郵電學(xué)院信息工程系副教授，博士，研究生導(dǎo)師，研究領(lǐng)域：信息網(wǎng)絡(luò)，多媒體通信，F(xiàn)PGS/CPLD.ASIC設(shè)計。




----《中國多媒體視訊》