百科解釋
目錄·MPEG-4簡介·MPEG-4目標·多媒體視頻編碼·MPEG-4的優(yōu)點·MPEG-4視頻編碼核心思想及關鍵技術·MPEG-4的應用 MPEG-4簡介 MPEG4于1998 年11 月公布,原預計1999 年1月投入使用的國際標準MPEG4不僅是針對一定比特率下的視頻、音頻編碼,更加注重多媒體系統(tǒng)的交互性和靈活性。MPEG專家組的專家們正在為MPEG-4的制定努力工作。MPEG-4標準主要應用于視像電話(Video Phone),視像電子郵件(Video Email)和電子新聞(Electronic News)等,其傳輸速率要求較低,在4800-64000bits/sec之間,分辨率為176X144。MPEG-4利用很窄的帶寬,通過幀重建技術,壓縮和傳輸數(shù)據(jù),以求以最少的數(shù)據(jù)獲得最佳的圖像質量。 與MPEG-1和MPEG-2相比,MPEG-4的特點是其更適于交互AV服務以及遠程監(jiān)控。MPEG-4是第一個使你由被動變?yōu)橹鲃?不再只是觀看,允許你加入其中,即有交互性)的動態(tài)圖像標準;它的另一個特點是其綜合性;從根源上說,MPEG-4試圖將自然物體與人造物體相溶合(視覺效果意義上的)。MPEG-4的設計目標還有更廣的適應性和可擴展性。MPEG-4目標 一、 低比特率下的多媒體通信; 二、 是多工業(yè)的多媒體通信的綜合。 據(jù)此目標,MPEG4 引入AV 對象(Audio/Visaul Objects), 使得更多的交互操作成為可能。 MPEG-4是為在國際互聯(lián)網(wǎng)絡上或移動通信設備(例如移動電話)上實時傳輸音/視頻訊號而制定的最新MPEG標準,MPEG4采用Object Based方式解壓縮,壓縮比指標遠遠優(yōu)于以上幾種,壓縮倍數(shù)為450倍(靜態(tài)圖像可達800倍),分辨率輸入可從320 ×240到1280 ×1024,這是同質量的MPEG1和MJEPG的十倍多。 MPEG4使用「圖層」(layer)方式,能夠智能化選擇影像的不同之處,是可根據(jù)圖像內容,將其中的對象(人物、物體、背景)分離出來分別進行壓縮,使圖文件容量大幅縮減,而加速音/視頻的傳輸,這不僅僅大大提高了壓縮比,也使圖像探測的功能和準確性更充分的體現(xiàn)出來。 在網(wǎng)絡傳輸中可以設定MPEG4的碼流速率,清晰度也可在一定的范圍內作相應的變化,這樣便于用戶根據(jù)自己對錄像時間、傳輸路數(shù)和清晰度的不同要求進行不同的設置,大大提高了系統(tǒng)使用時的適應性和靈活性。也可采用動態(tài)幀測技術,動態(tài)時快錄,靜態(tài)時慢錄,從而減少平均數(shù)據(jù)量,節(jié)省存儲空間。而且當在傳輸有誤碼或丟包現(xiàn)象時,MPEG4受到的影響很小,并且能迅速恢復。 MPEG4的應用前景將是非常廣闊的。 它的出現(xiàn)將對以下各方面產生較大的推動作用:數(shù)字電視、動態(tài)圖像、萬維網(wǎng)(WWW)、實時多媒體監(jiān)控、低比特率下的移動多媒體通信、于內容存儲和檢索多媒系統(tǒng)、Internet/Intranet上的視頻流與可視游戲、基于面部表情模擬的虛擬會議、DVD上的交互多媒體應用、基于計算機網(wǎng)絡的可視化合作實驗室場景應用、演播電視等。 當然,除了MPEG 4外,還有更先進的下一個版本MPEG 7 ,準確來說, MPEG-7并不是一種壓縮編碼方法,而是一個多媒體內容描述接口。繼MPEG4之后,要解決的矛盾就是對日漸龐大的圖像、聲音信息的管理和迅速搜索。MPEG 7就是針對這個矛盾的解決方案。MPEG7力求能夠快速且有效地搜索出用戶所需的不同類型的多媒體材料。預計這個方案于2001年初最終完成并公布。按照以往 MPEG-4的經驗,MPEG-7起碼要再過兩年才能進入實際應用階。多媒體視頻編碼 運動圖像專家組MPEG 于1999年2月正式公布了MPEG-4(ISO/IEC14496)標準第一版本。同年年底MPEG-4第二版亦告底定,且于2000年年初正式成為國際標準。 MPEG-4與MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具體壓縮算法,它是針對數(shù)字電視、交互式繪圖應用(影音合成內容)、交互式多媒體(WWW、資料擷取與分散)等整合及壓縮技術的需求而制定的國際標準。MPEG -4標準將眾多的多媒體應用集成于一個完整的框架內,旨在為多媒體通信及應用環(huán)境提供標準的算法及工具,從而建立起一種能被多媒體傳輸、存儲、檢索等應用領域普遍采用的統(tǒng)一數(shù)據(jù)格式。 MPEG-4的編碼理念是:MPEG-4標準同以前標準的最顯著的差別在于它是采用基于對象的編碼理念,即在編碼時將一幅景物分成若干在時間和空間上相互聯(lián)系的視頻音頻對象,分別編碼后,再經過復用傳輸?shù)浇邮斩,然后再對不同的對象分別解碼,從而組合成所需要的視頻和音頻。這樣既方便我們對不同的對象采用不同的編碼方法和表示方法,又有利于不同數(shù)據(jù)類型間的融合,并且這樣也可以方便的實現(xiàn)對于各種對象的操作及編輯。例如,我們可以將一個卡通人物放在真實的場景中,或者將真人置于一個虛擬的演播室里,還可以在互聯(lián)網(wǎng)上方便的實現(xiàn)交互,根據(jù)自己的需要有選擇的組合各種視頻音頻以及圖形文本對象。 MPEG-4系統(tǒng)的一般框架是:對自然或合成的視聽內容的表示;對視聽內容數(shù)據(jù)流的管理,如多點、同步、緩沖管理等;對靈活性的支持和對系統(tǒng)不同部分的配置。MPEG-4的優(yōu)點 (1) 基于內容的交互性 MPEG-4提供了基于內容的多媒體數(shù)據(jù)訪問工具,如索引、超級鏈接、上傳、下載、刪除等。利用這些工具,用戶可以方便地從多媒體數(shù)據(jù)庫中有選擇地獲取自己所需的與對象有關的內容,并提供了內容的操作和位流編輯功能,可應用于交互式家庭購物,淡入淡出的數(shù)字化效果等。MPEG-4提供了高效的自然或合成的多媒體數(shù)據(jù)編碼方法。它可以把自然場景或對象組合起來成為合成的多媒體數(shù)據(jù)。 。2)高效的壓縮性 MPEG-4基于更高的編碼效率。同已有的或即將形成的其它標準相比,在相同的比特率下,它基于更高的視覺聽覺質量,這就使得在低帶寬的信道上傳送視頻、音頻成為可能。同時MPEG-4還能對同時發(fā)生的數(shù)據(jù)流進行編碼。一個場景的多視角或多聲道數(shù)據(jù)流可以高效、同步地合成為最終數(shù)據(jù)流。這可用于虛擬三維游戲、三維電影、飛行仿真練習等。 。3)通用的訪問性 MPEG-4提供了易出錯環(huán)境的魯棒性,來保證其在許多無線和有線網(wǎng)絡以及存儲介質中的應用,此外,MPEG-4還支持基于內容的的可分級性,即把內容、質量、復雜性分成許多小塊來滿足不同用戶的不同需求,支持具有不同帶寬,不同存儲容量的傳輸信道和接收端。 這些特點無疑會加速多媒體應用的發(fā)展,從中受益的應用領域有:因特網(wǎng)多媒體應用;廣播電視;交互式視頻游戲;實時可視通信;交互式存儲媒體應用;演播室技術及電視后期制作;采用面部動畫技術的虛擬會議;多媒體郵件;移動通信條件下的多媒體應用;遠程視頻監(jiān)控;通過ATM網(wǎng)絡等進行的遠程數(shù)據(jù)庫業(yè)務等。MPEG-4視頻編碼核心思想及關鍵技術 MPEG-4視頻編碼核心思想及技術研究" 摘要 MPEG-4是新一代基于內容的多媒體數(shù)據(jù)壓縮編碼國際標準,它與傳統(tǒng)視頻編碼標準的最大不同在于第一次提出了基于對象的視頻編碼新概念。基于內容的交互性是MPEG-4標準的核心思想,這對于視頻編碼技術的發(fā)展方向及廣泛應用都具有特別重要的意義。 劉達 毛加軒 文章來源:中國數(shù)據(jù)通信 關鍵詞 MPEG-4 數(shù)據(jù)壓縮 視頻編碼 視聽對象 基于內容編碼 視頻對象提取 運動估計與補償 1 引言 當今時代,信息技術和計算機互聯(lián)網(wǎng)飛速發(fā)展,在此背景下,多媒體信息已成為人類獲取信息的最主要載體,同時也成為電子信息領域技術開發(fā)和研究的熱點。多媒體信息經數(shù)字化處理后具有易于加密、抗干擾能力強、可再生中繼等優(yōu)點,但同時也伴隨海量數(shù)據(jù)的產生,這對信息存儲設備及通信網(wǎng)絡均提出了很高要求,從而成為阻礙人們有效獲取和使用信息的重大瓶頸。 因此研究高效的多媒體數(shù)據(jù)壓縮編碼方法,以壓縮形式存儲和傳輸數(shù)字化的多媒體信息具有重要意義。作為多媒體技術的核心及關鍵,多媒體數(shù)據(jù)壓縮編碼近年來在技術及應用方面都取得了長足進展,它的進步和完善正深刻影響著現(xiàn)代社會的方方面面。 2 視頻編碼研究與MPEG標準演進 人類獲取的信息中70%來自于視覺,視頻信息在多媒體信息中占有重要地位;同時視頻數(shù)據(jù)冗余度最大,經壓縮處理后的視頻質量高低是決定多媒體服務質量的關鍵因素。因此數(shù)字視頻技術是多媒體應用的核心技術,對視頻編碼的研究已成為信息技術領域的熱門話題。 視頻編碼的研究課題主要有數(shù)據(jù)壓縮比、壓縮/解壓速度及快速實現(xiàn)算法三方面內容。以壓縮/解壓后數(shù)據(jù)與壓縮前原始數(shù)據(jù)是否完全一致作為衡量標準,可將數(shù)據(jù)壓縮劃分為無失真壓縮(即可逆壓縮)和有失真壓縮(即不可逆壓縮)兩類。 傳統(tǒng)壓縮編碼建立在仙農信息論基礎之上的,以經典集合論為工具,用概率統(tǒng)計模型來描述信源,其壓縮思想基于數(shù)據(jù)統(tǒng)計,因此只能去除數(shù)據(jù)冗余,屬于低層壓縮編碼的范疇。 伴隨著視頻編碼相關學科及新興學科的迅速發(fā)展,新一代數(shù)據(jù)壓縮技術不斷誕生并日益成熟,其編碼思想由基于像素和像素塊轉變?yōu)榛趦热?(content-based)。它突破了仙農信息論框架的束縛,充分考慮了人眼視覺特性及信源特性,通過去除內容冗余來實現(xiàn)數(shù)據(jù)壓縮,可分為基于對象(object-based)和基于語義(semantics-based)兩種,前者屬于中層壓縮編碼,后者屬于高層壓縮編碼。 與此同時,視頻編碼相關標準的制定也日臻完善。視頻編碼標準主要由ITU-T和ISO/IEC開發(fā)。ITU-T發(fā)布的視頻標準有H.261、 H.262、 H.263、 H.263+、H.263++,ISO/IEC公布的MPEG系列標準有MPEG-1、MPEG-2 、MPEG-4 和MPEG-7,并且計劃公布MPEG-21。 MPEG即Moving Picture Expert Group(運動圖像專家組),它是專門從事制定多媒體視音頻壓縮編碼標準的國際組織。MPEG系列標準已成為國際上影響最大的多媒體技術標準,其中MPEG-1和MPEG-2是采用以仙農信息論為基礎的預測編碼、變換編碼、熵編碼及運動補償?shù)鹊谝淮鷶?shù)據(jù)壓縮編碼技術;MPEG-4(ISO/IEC 14496)則是基于第二代壓縮編碼技術制定的國際標準,它以視聽媒體對象為基本單元,采用基于內容的壓縮編碼,以實現(xiàn)數(shù)字視音頻、圖形合成應用及交互式多媒體的集成。MPEG系列標準對VCD、DVD等視聽消費電子及數(shù)字電視和高清晰度電視(DTV&&HDTV)、多媒體通信等信息產業(yè)的發(fā)展產生了巨大而深遠的影響。 3 MPEG-4視頻編碼核心思想及關鍵技術 3.1 核心思想 在MPEG-4制定之前,MPEG-1、MPEG-2、H.261、H.263都是采用第一代壓縮編碼技術,著眼于圖像信號的統(tǒng)計特性來設計編碼器,屬于波形編碼的范疇。第一代壓縮編碼方案把視頻序列按時間先后分為一系列幀,每一幀圖像又分成宏塊以進行運動補償和編碼,這種編碼方案存在以下缺陷: · 將圖像固定地分成相同大小的塊,在高壓縮比的情況下會出現(xiàn)嚴重的塊效應,即馬賽克效應; · 不能對圖像內容進行訪問、編輯和回放等操作; · 未充分利用人類視覺系統(tǒng)(HVS,Human Visual System)的特性。 MPEG-4則代表了基于模型/對象的第二代壓縮編碼技術,它充分利用了人眼視覺特性,抓住了圖像信息傳輸?shù)谋举|,從輪廓、紋理思路出發(fā),支持基于視覺內容的交互功能,這適應了多媒體信息的應用由播放型轉向基于內容的訪問、檢索及操作的發(fā)展趨勢。 AV對象(AVO,Audio Visual Object)是MPEG-4為支持基于內容編碼而提出的重要概念。對象是指在一個場景中能夠訪問和操縱的實體,對象的劃分可根據(jù)其獨特的紋理、運動、形狀、模型和高層語義為依據(jù)。在MPEG-4中所見的視音頻已不再是過去MPEG-1、MPEG-2中圖像幀的概念,而是一個個視聽場景(AV場景),這些不同的AV場景由不同的AV對象組成。AV對象是聽覺、視覺、或者視聽內容的表示單元,其基本單位是原始AV對象,它可以是自然的或合成的聲音、圖像。原始AV對象具有高效編碼、高效存儲與傳輸以及可交互操作的特性,它又可進一步組成復合AV對象。因此MPEG-4標準的基本內容就是對AV對象進行高效編碼、組織、存儲與傳輸。AV對象的提出,使多媒體通信具有高度交互及高效編碼的能力,AV對象編碼就是MPEG-4的核心編碼技術。 MPEG-4不僅可提供高壓縮率,同時也可實現(xiàn)更好的多媒體內容互動性及全方位的存取性,它采用開放的編碼系統(tǒng),可隨時加入新的編碼算法模塊,同時也可根據(jù)不同應用需求現(xiàn)場配置解碼器,以支持多種多媒體應用。 MPEG-4 采用了新一代視頻編碼技術,它在視頻編碼發(fā)展史上第一次把編碼對象從圖像幀拓展到具有實際意義的任意形狀視頻對象,從而實現(xiàn)了從基于像素的傳統(tǒng)編碼向基于對象和內容的現(xiàn)代編碼的轉變,因而引領著新一代智能圖像編碼的發(fā)展潮流。 3.2 關鍵技術 MPEG-4除采用第一代視頻編碼的核心技術,如變換編碼、運動估計與運動補償、量化、熵編碼外,還提出了一些新的有創(chuàng)見性的關鍵技術,并在第一代視頻編碼技術基礎上進行了卓有成效的完善和改進。下面重點介紹其中的一些關鍵技術。 1. 視頻對象提取技術 MPEG-4實現(xiàn)基于內容交互的首要任務就是把視頻/圖像分割成不同對象或者把運動對象從背景中分離出來,然后針對不同對象采用相應編碼方法,以實現(xiàn)高效壓縮。因此視頻對象提取即視頻對象分割,是MPEG-4視頻編碼的關鍵技術,也是新一代視頻編碼的研究熱點和難點。 視頻對象分割涉及對視頻內容的分析和理解,這與人工智能、圖像理解、模式識別和神經網(wǎng)絡等學科有密切聯(lián)系。目前人工智能的發(fā)展還不夠完善,計算機還不具有觀察、識別、理解圖像的能力;同時關于計算機視覺的研究也表明要實現(xiàn)正確的圖像分割需要在更高層次上對視頻內容進行理解。因此,盡管MPEG-4 框架已經制定,但至今仍沒有通用的有效方法去根本解決視頻對象分割問題,視頻對象分割被認為是一個具有挑戰(zhàn)性的難題,基于語義的分割則更加困難。 目前進行視頻對象分割的一般步驟是:先對原始視頻/圖像數(shù)據(jù)進行簡化以利于分割,這可通過低通濾波、中值濾波、形態(tài)濾波來完成;然后對視頻/圖像數(shù)據(jù)進行特征提取,可以是顏色、紋理、運動、幀差、位移幀差乃至語義等特征;再基于某種均勻性標準來確定分割決策,根據(jù)所提取特征將視頻數(shù)據(jù)歸類;最后是進行相關后處理,以實現(xiàn)濾除噪聲及準確提取邊界。 在視頻分割中基于數(shù)學形態(tài)理論的分水嶺(watershed)算法被廣泛使用,它又稱水線算法,其基本過程是連續(xù)腐蝕二值圖像,由圖像簡化、標記提取、決策、后處理四個階段構成。分水嶺算法具有運算簡單、性能優(yōu)良,能夠較好提取運動對象輪廓、準確得到運動物體邊緣的優(yōu)點。但分割時需要梯度信息,對噪聲較敏感,且未利用幀間信息,通常會產生圖像過度分割。 2. VOP視頻編碼技術 視頻對象平面(VOP,Video Object Plane)是視頻對象(VO)在某一時刻的采樣,VOP是MPEG-4視頻編碼的核心概念。MPEG-4在編碼過程中針對不同VO采用不同的編碼策略,即對前景VO的壓縮編碼盡可能保留細節(jié)和平滑;對背景VO則采用高壓縮率的編碼策略,甚至不予傳輸而在解碼端由其他背景拼接而成。這種基于對象的視頻編碼不僅克服了第一代視頻編碼中高壓縮率編碼所產生的方塊效應,而且使用戶可與場景交互,從而既提高了壓縮比,又實現(xiàn)了基于內容的交互,為視頻編碼提供了廣闊的發(fā)展空間。 MPEG-4支持任意形狀圖像與視頻的編解碼。對于任意形狀視頻對象。對于極低比特率實時應用,如可視電話、會議電視,MPEG-4則采用VLBV(Very Low Bit-rate Video,極低比特率視頻)核進行編碼。 傳統(tǒng)的矩形圖在MPEG-4中被看作是VO的一種特例,這正體現(xiàn)了傳統(tǒng)編碼與基于內容編碼在MPEG-4中的統(tǒng)一。VO概念的引入,更加符合人腦對視覺信息的處理方式,并使視頻信號的處理方式從數(shù)字化進展到智能化,從而提高了視頻信號的交互性和靈活性,使得更廣泛的視頻應用及更多的內容交互成為可能。因此VOP視頻編碼技術被譽為視頻信號處理技術從數(shù)字化進入智能化的初步探索。 3. 視頻編碼可分級性技術 隨著因特網(wǎng)業(yè)務的巨大增長,在速率起伏很大的IP(Internet Protocol)網(wǎng)絡及具有不同傳輸特性的異構網(wǎng)絡上進行視頻傳輸?shù)囊蠛蛻迷絹碓蕉。在這種背景下,視頻分級編碼的重要性日益突出,其應用非常廣泛,且具有很高的理論研究及實際應用價值,因此受到人們的極大關注。 視頻編碼的可分級性(scalability)是指碼率的可調整性,即視頻數(shù)據(jù)只壓縮一次,卻能以多個幀率、空間分辨率或視頻質量進行解碼,從而可支持多種類型用戶的各種不同應用要求。 MPEG-4通過視頻對象層(VOL,Video Object Layer)數(shù)據(jù)結構來實現(xiàn)分級編碼。MPEG-4提供了兩種基本分級工具,即時域分級(Temporal Scalability)和空域分級(Spatial Scalability),此外還支持時域和空域的混合分級。每一種分級編碼都至少有兩層VOL,低層稱為基本層,高層稱為增強層;緦犹峁┝艘曨l序列的基本信息,增強層提供了視頻序列更高的分辨率和細節(jié)。 在隨后增補的視頻流應用框架中,MPEG-4提出了FGS(Fine Granularity Scalable,精細可伸縮性)視頻編碼算法以及PFGS(Progressive Fine Granularity Scalable,漸進精細可伸縮性)視頻編碼算法。 FGS編碼實現(xiàn)簡單,可在編碼速率、顯示分辨率、內容、解碼復雜度等方面提供靈活的自適應和可擴展性,且具有很強的帶寬自適應能力和抗誤碼性能。但還存在編碼效率低于非可擴展編碼及接收端視頻質量非最優(yōu)兩個不足。 PFGS則是為改善FGS編碼效率而提出的視頻編碼算法,其基本思想是在增強層圖像編碼時使用前一幀重建的某個增強層圖像為參考進行運動補償,以使運動補償更加有效,從而提高編碼效率。 4. 運動估計與運動補償技術 MPEG-4采用I-VOP、P-VOP、B-VOP三種幀格式來表征不同的運動補償類型。它采用了H.263中的半像素搜索(half pixel searching)技術和重疊運動補償(overlapped motion compensation)技術,同時又引入重復填充(repetitive padding)技術和修改的塊(多邊形)匹配(modified block (polygon)matching)技術以支持任意形狀的VOP區(qū)域。 此外,為提高運動估計算法精度,MPEG-4采用了MVFAST(Motion Vector Field Adaptive Search Technique)和改進的PMVFAST(Predictive MVFAST)方法用于運動估計。對于全局運動估計,則采用了基于特征的快速頑健的FFRGMET(Feature-based Fast and Robust Global Motion Estimation Technique)方法。 在MPEG-4視頻編碼中,運動估計相當耗時,對編碼的實時性影響很大。因此這里特別強調快速算法。運動估計方法主要有像素遞歸法和塊匹配法兩大類,前者復雜度很高,實際中應用較少,后者則在H.263和MPEG中廣泛采用。在塊匹配法中,重點研究塊匹配準則及搜索方法。目前有三種常用的匹配準則: (1)絕對誤差和(SAD, Sum of Absolute Difference)準則; 。2)均方誤差(MSE, Mean Square Error)準則; 。3)歸一化互相關函數(shù)(NCCF, Normalized Cross Correlation Function)準則。 在上述三種準則中,SAD準則具有不需乘法運算、實現(xiàn)簡單方便的優(yōu)點而使用最多,但應清楚匹配準則的選用對匹配結果影響不大。 在選取匹配準則后就應進行尋找最優(yōu)匹配點的搜索工作。最簡單、最可靠的方法是全搜索法(FS, Full Search),但計算量太大,不便于實時實現(xiàn)。因此快速搜索法應運而生,主要有交叉搜索法、二維對數(shù)法和鉆石搜索法,其中鉆石搜索法被MPEG-4校驗模型(VM, Verification Model)所采納,下面詳細介紹。 鉆石搜索(DS, Diamond Search)法以搜索模板形狀而得名,具有簡單、魯棒、高效的特點,是現(xiàn)有性能最優(yōu)的快速搜索算法之一。其基本思想是利用搜索模板的形狀和大小對運動估計算法速度及精度產生重要影響的特性。在搜索最優(yōu)匹配點時,選擇小的搜索模板可能會陷入局部最優(yōu),選擇大的搜索模板則可能無法找到最優(yōu)點。因此DS算法針對視頻圖像中運動矢量的基本規(guī)律,選用了兩種形狀大小的搜索模板。 · 大鉆石搜索模板(LDSP, Large Diamond Search Pattern),包含9個候選位置; · 小鉆石搜索模板(SDSP, Small Diamond Search Pattern),包含5個候選位置。 DS算法搜索過程如下:開始階段先重復使用大鉆石搜索模板,直到最佳匹配塊落在大鉆石中心。由于LDSP步長大,因而搜索范圍廣,可實現(xiàn)粗定位,使搜索不會陷于局部最小,當粗定位結束后,可認為最優(yōu)點就在LDSP 周圍8 個點所圍菱形區(qū)域中。然后再使用小鉆石搜索模板來實現(xiàn)最佳匹配塊的準確定位,以不產生較大起伏,從而提高運動估計精度。 此外Sprite視頻編碼技術也在MPEG-4中應用廣泛,作為其核心技術之一。Sprite又稱鑲嵌圖或背景全景圖,是指一個視頻對象在視頻序列中所有出現(xiàn)部分經拼接而成的一幅圖像。利用Sprite可以直接重構該視頻對象或對其進行預測補償編碼。 Sprite視頻編碼可視為一種更為先進的運動估計和補償技術,它能夠克服基于固定分塊的傳統(tǒng)運動估計和補償技術的不足,MPEG-4正是采用了將傳統(tǒng)分塊編碼技術與Sprite編碼技術相結合的策略! 4 結束語 多媒體數(shù)據(jù)壓縮編碼的發(fā)展趨勢是基于內容的壓縮,這實際上是信息處理的高級階段,更加向人自身的信息處理方式靠近。人的信息處理并不是基于信號的,而是基于一個比較抽象的、能夠直接進行記憶和處理的方式。 MPEG-4作為新一代多媒體數(shù)據(jù)壓縮編碼的典型代表,它第一次提出了基于內容、基于對象的壓縮編碼思想。它要求對自然或合成視聽對象作更多分析甚至是理解,這正是信息處理的高級階段,因而代表了現(xiàn)代數(shù)據(jù)壓縮編碼技術的發(fā)展方向。 MPEG-4實現(xiàn)了從矩形幀到VOP的轉變以及基于像素的傳統(tǒng)編碼向基于對象和內容的現(xiàn)代編碼的轉變,這正體現(xiàn)了傳統(tǒng)視頻編碼與新一代視頻編碼的有機統(tǒng)一;趦热莸慕换バ允荕PEG-4的核心思想,這對于視頻編碼技術的發(fā)展方向及廣泛應用都具有特別重要的意義。MPEG-4的應用 (1)應用于因特網(wǎng)視音頻廣播 由于上網(wǎng)人數(shù)與日俱增,傳統(tǒng)電視廣播的觀眾逐漸減少,隨之而來的便是廣告收入的減少,所以現(xiàn)在的固定式電視廣播最終將轉向基于TCP/IP的因特網(wǎng)廣播,觀眾的收看方式也由簡單的遙控器選擇頻道轉為網(wǎng)上視頻點播。視頻點播的概念不是先把節(jié)目下載到硬盤,然后再播放,而是流媒體視頻(streaming video),點擊即觀看,邊傳輸邊播放。 現(xiàn)在因特網(wǎng)中播放視音頻的有:Real Networks公司的 Real Media,微軟公司的 Windows Media,蘋果公司的 QuickTime,它們定義的視音頻格式互不兼容,有可能導致媒體流中難以控制的混亂,而MPEG-4為因特網(wǎng)視頻應用提供了一系列的標準工具,使視音頻碼流具有規(guī)范一致性。因此在因特網(wǎng)播放視音頻采用MPEG-4,應該說是一個安全的選擇。 。2)應用于無線通信 MPEG-4高效的碼率壓縮,交互和分級特性尤其適合于在窄帶移動網(wǎng)上實現(xiàn)多媒體通信,未來的手機將變成多媒體移動接收機,不僅可以打移動電視電話、移動上網(wǎng),還可以移動接收多媒體廣播和收看電視。 。3)應用于靜止圖像壓縮 靜止圖像(圖片)在因特網(wǎng)中大量使用,現(xiàn)在網(wǎng)上的圖片壓縮多采用JPEG技術。 MPEG-4中的靜止圖像(紋理)壓縮是基于小波變換的,在同樣質量條件下,壓縮后的文件大小約是JPEG壓縮文件的十分之一。把因特網(wǎng)上使用的JPEG 圖片轉換成MPEG-4格式,可以大幅度提高圖片在網(wǎng)絡中的傳輸速度。 。4)應用于電視電話 傳統(tǒng)用于窄帶電視電話業(yè)務的壓縮編碼標準,如H261,采用幀內壓縮、幀間壓縮、減少象素和抽幀等辦法來降低碼率,但編碼效率和圖像質量都難以令人滿意。MPEG-4的壓縮編碼可以做到以極低碼率傳送質量可以接受的聲像信號,使電視電話業(yè)務可以在窄帶的公用電話網(wǎng)上實現(xiàn)。 。5)應用于計算機圖形、動畫與仿真 MPEG-4特殊的編碼方式和強大的交互能力,使得基于MPEG-4的計算機圖形和動畫可以從各種來源的多媒體數(shù)據(jù)庫中獲取素材,并實時組合出所需要的結果。因而未來的計算機圖形可以在MPEG-4語法所允許的范圍內向所希望的方向無限發(fā)展,產生出今天無法想象的動畫及仿真效果。 (6)應用于電子游戲 MPEG-4可以進行自然圖像與聲音同人工合成的圖像與聲音的混合編碼,在編碼方式上具有前所未有的靈活性,并且能及時從各種來源的多媒體數(shù)據(jù)庫中調用素材。這可以在將來產生象電影一樣的電子游戲,實現(xiàn)極高自由度的交互式操作。 (7)硬件產品上面的應用 目前,MPEG4技術在硬件產品上也已開始逐步得到應用。特別是在視頻監(jiān)控、播放上,這項高清晰度,高壓縮的技術得到了眾多硬件廠商的鐘愛,而市場上支持MPEG4技術的產品也是種類繁多。下面筆者就列舉一些代表性的產品,旨在讓讀者了解MPEG4技術在今天應用范圍之廣。 (1)、攝像機:日本夏普公司推出過應用在互聯(lián)網(wǎng)上的數(shù)字攝像機VN-EZ1。這臺網(wǎng)絡攝像機利用MPEG4格式,可把影像文件壓縮為ASF(高級流格式),用戶只要利用微軟公司的MediaPlayer播放程序,就可以直接在電腦上進行播放。 。2)、播放機:飛利浦公司于今年八月份推出了一款支持DivX的DVD播放機DVD737。它可以支持DivX 3.11、4.xx、5.xx等MPEG4標準,而對于新標準的支持則可以通過升級固件來實現(xiàn)。(3)、數(shù)碼相機:日本京瓷公司在11月中旬發(fā)售其最新款數(shù)碼相機Finecam L30,這款是采用300萬像素、3倍光學變焦設計的數(shù)碼相機產品, L30采用了MPEG4格式動態(tài)視頻錄制,可以讓動態(tài)視頻錄制畫面效果比傳統(tǒng)數(shù)碼相機更出色。 。4)、手機:在手機領域,MPEG4技術更是得到了廣泛的應用,各大手機廠商也都推出了可拍攝MPEG4動態(tài)視頻的手機型號,如西門子ST55、索尼愛立信P900/P908、LG 彩屏G8000等。 (5)、MPEG4數(shù)字硬盤:在今年深圳舉行的安防展覽會上,開發(fā)數(shù)字錄像監(jiān)控產品的廠家紛紛推出了他們的最新產品,而支持MPEG4的DVR壓縮技術也成為改展會上的亮點。 如北京華青紫博科技推出的"E眼神MPEG4數(shù)字視頻王"便是一款基于網(wǎng)絡環(huán)境的高清晰數(shù)字化監(jiān)控報警系統(tǒng)。內置多畫面處理器,集現(xiàn)場監(jiān)控、監(jiān)聽、多路同時數(shù)字錄像與回放等多種功能為一體。 其實,市場上還有許多基于MPEG4技術的硬件產品,筆者這里就不一一列舉了,不過筆者相信,隨著視頻壓縮技術的不斷發(fā)展,MPEG4技術的產品會越來越多的出現(xiàn)在我們生活,工作中。
移動通信網(wǎng) | 通信人才網(wǎng) | 更新日志 | 團隊博客 | 免責聲明 | 關于詞典 | 幫助