IP網(wǎng)絡內(nèi)容分發(fā)技術

聶秀英

　　摘要　與傳統(tǒng)的PSTN不同，IP網(wǎng)絡主要為用戶提供基于服務器/客戶端的非對稱的數(shù)據(jù)業(yè)務。由于IP網(wǎng)絡服務的無地域性和無國界性，在用戶數(shù)量達到一定程度時，用戶對信息的消費會給包含有受用戶歡迎的信息內(nèi)容的服務器造成巨大的壓力，同時造成接近于這些服務器的骨干網(wǎng)絡的擁塞。最近幾年內(nèi)作為解決這些問題的內(nèi)容分發(fā)技術成為業(yè)界的研究熱點之一，本文主要介紹目前IP網(wǎng)絡上較多采用的CDN(content distribution network，內(nèi)容分發(fā)網(wǎng)絡)技術、組播技術和端到端技術等幾種IP網(wǎng)絡內(nèi)容分發(fā)技術。

　　關鍵詞　內(nèi)容分發(fā)網(wǎng)絡　信息服務　端到端通信

　　1、概述

　　進入2l世紀，IP網(wǎng)絡上的信息越來越多，人們對信息的需求也越來越多。盡管IP網(wǎng)絡的傳輸帶寬越來越寬，用于存儲內(nèi)容信息的服務器性能和容量越來越高，但人們依然抱怨信息網(wǎng)絡的傳輸速度低，獲得的信息不夠準確、不夠快。造成這種現(xiàn)象的原因是作為信息存儲媒體的服務器性能(存儲容量、存取速度)的提高速度趕不上眾多用戶提取信息的需求。目前，視頻信息占IP網(wǎng)絡上傳輸信息總量的很大一部分。為了解決這個困擾業(yè)界的內(nèi)容分發(fā)問題，研究人員嘗試采用各種方式。本文將從信息業(yè)務存在的問題入手，介紹幾種IP網(wǎng)絡上的內(nèi)容分發(fā)技術。

　　2、IP網(wǎng)絡上的信息服務存在的問題

　　與PSTN主要提供交互式端對端對稱的電話業(yè)務不同，IP網(wǎng)絡主要提供服務器到客戶端的非對稱數(shù)據(jù)業(yè)務。IP網(wǎng)絡上的信息服務方式基本上是由用戶向存儲有各種信息的服務器申請其希望得到的信息，由服務器根據(jù)用戶的請求向用戶發(fā)送其欲得到的信息內(nèi)容。IP網(wǎng)絡上最受用戶歡迎的Web業(yè)務是一種基于服務器/客戶端的業(yè)務，其業(yè)務模型如圖1所示。

圖1　以服務器/客戶端方式提供信息服務的業(yè)務模型

　　從圖l中可以看出，在每一個web網(wǎng)站存儲有不同信息內(nèi)容的情況下，由于IP網(wǎng)絡本身訪問的無地域性和距離性，分布在世界不同地點的用戶均可以到相同的服務器中訪問內(nèi)容，這樣一方面會造成服務器本身的處理速度的瓶頸，另一方面會造成骨干網(wǎng)絡業(yè)務量的擁塞。

　　VOD業(yè)務是一種主要向用戶提供視頻信息的Web業(yè)務，由于其信息服務器中所存儲的信息以視頻信息為主，因此處理速度及擁塞問題尤為突出。為解決這兩個問題需要有很好的內(nèi)容分發(fā)技術。簡單的思路便是將作為信息源的服務器分布式配置，使用戶盡可能地“分散”訪問，以減輕個別服務器和局部骨干網(wǎng)絡的壓力。但是，將信息源分布放置后，會出現(xiàn)如何管理內(nèi)容信息在這些服務器中的存放，用戶如何找到其欲訪問的信息源的問題。

　　3、內(nèi)容分發(fā)技術

　　基于客戶端/服務器方式的非對稱的數(shù)據(jù)業(yè)務的大量應用，會造成網(wǎng)絡不同方向和不同局部的業(yè)務流量的不平衡，特別是服務于所有用戶的服務器的壓力尤為突出。為此人們便開始研究各種解決IP網(wǎng)絡內(nèi)容分發(fā)問題的技術。下面主要介紹用于內(nèi)容分發(fā)的CDN技術、組播技術和端到端下載技術。

　　3.1　CDN技術

　　CDN是構建在IP網(wǎng)絡之上的內(nèi)容發(fā)布網(wǎng)絡，其主要目的是通過該網(wǎng)絡的構建減小IP骨干網(wǎng)絡的傳輸壓力，將連接到IP網(wǎng)絡上的內(nèi)容信息更迅速地分發(fā)到全球范圍內(nèi)連接到IP網(wǎng)絡上的用戶終端。CDN技術最先應用于全球范圍內(nèi)最受歡迎的Web網(wǎng)站。如圖2所示，CDN網(wǎng)絡主要由初始服務器、分布在網(wǎng)絡“邊緣”的緩存服務器、重定向DNS服務器和內(nèi)容交換服務器組成。其中，初始服務器負責完成生成服務器信息內(nèi)容；緩存服務器負責存儲初始服務器的部分或全部信息內(nèi)容；為用戶進行地址解析的DNS服務器判斷出用戶所訪問的網(wǎng)站采用了CDN技術進行內(nèi)容分發(fā)時，將用戶申請內(nèi)容解析用的URL信息轉(zhuǎn)發(fā)給重定向DNS服務器，重定向DNS服務器根據(jù)接收到的URL信息、轉(zhuǎn)發(fā)URL的DNS服務器的地址信息以及網(wǎng)站在構建CDN時緩存網(wǎng)站的配置情況，將距離轉(zhuǎn)發(fā)URL的DNS服務器最近的緩存網(wǎng)站的IP地址發(fā)送給DNS服務器，DNS服務器再將接收到的IP地址信息轉(zhuǎn)發(fā)給用戶，最終用戶利用所接收到的IP地址完成與其“較近”的緩存網(wǎng)站的連接，通過接受“就近”的緩存網(wǎng)站所提供的服務達到減輕骨干IP網(wǎng)絡的傳輸壓力、提高服務質(zhì)量的目的。

圖2　CDN組網(wǎng)示意

　　CDN的內(nèi)容交換服務器和內(nèi)容管理服務器為選用部分，其中，內(nèi)容交換服務器主要配置在一個物理地點具有較多的緩存服務器情況下，完成各緩存服務器之間的負載均衡等功能；內(nèi)容管理服務器主要完成整個CDN中各緩存服務器中存儲的內(nèi)容的管理，為各緩存服務器制訂各自相應的緩存策略，以提高緩存服務器的服務質(zhì)量。

　　目前，IETF在CDN方面已陸續(xù)發(fā)布了一系列相關的標準，主要的標準有：

　　IETF RFC3040(2001)Internet Web復制和緩存分類、IETFRFC3466(2003)內(nèi)容互聯(lián)(CDI)模型、IETFRFC3568(2003)已知內(nèi)容網(wǎng)絡(CN)請求路由機制、IETF RFC3570(2003)內(nèi)容互聯(lián)(CDI)場景等，分別規(guī)定了CDN(CN)的模型、應用場景、復制和緩存分類以及請求路由機制等方面的技術內(nèi)容。

　　雖然CDN技術已經(jīng)應用于Web網(wǎng)站和VOD業(yè)務等方面來解決內(nèi)容分發(fā)問題，已經(jīng)有一些可以商用的設備，但從技術的角度上來講還有一些需要改進的方面。例如：在重定向方面包括有DNS重定向和最短接收時間重定向兩種方案，采用DNS重定向服務器實現(xiàn)重定向時，實際上最終選定的緩存網(wǎng)站是距離為用戶進行地址解析的DNS最近的網(wǎng)站，而不是距請求用戶最近的網(wǎng)站；采用最短接收時間重定向方式是指用戶向所有的網(wǎng)站發(fā)送請求，最先接收到響應的網(wǎng)站被認為是距離用戶“最近”的網(wǎng)站，但由于IP網(wǎng)絡本身的信息流量的不確定性，最先到達的響應信息并非一定來自距離用戶“最近”的網(wǎng)站。另一個問題在于內(nèi)容存儲策略，目前還沒有一種非常有效的緩存信息內(nèi)容的機制，通常情況下，本地采用兩種信息存儲方式：存儲用戶點擊率最高的信息或根據(jù)對信息的分析選擇近期是熱點的信息。但這兩種方式并非是最佳的選擇策略。策略選擇的好壞直接關系到提供業(yè)務的服務質(zhì)量和對骨干網(wǎng)絡帶寬的壓力。

　　3.2　組播技術

　　在內(nèi)容分發(fā)方面存在兩個瓶頸，一個是占用骨干網(wǎng)絡傳輸帶寬問題，另一個則是作為信息源的服務器的并發(fā)處理能力問題。目前存儲器的存儲容量不斷提高，單位存儲容量的價格下降很快，但相對而言，從存儲器中存取信息的速度提高得不夠快。因此，若為請求相同內(nèi)容的用戶同時發(fā)送一份信息將大大減輕服務器的存取壓力。這種方式類似于廣播電視所采用的方式，不同點在于廣播電視采用無線方式傳輸，只要用戶接收設備所采用的頻率與發(fā)射機發(fā)射信號時所采用的頻率相同，用戶便可接收到發(fā)送的信息。在以有線傳輸為主的IP網(wǎng)絡上，不可能向所有的地址均發(fā)送相同的信息，為此通常是選擇一組地址來作為信息的接收者，也就是說，采用組播的方式來實現(xiàn)同時向一組用戶同時發(fā)送信息的目的。

　　早期利用IP組播主要是在IP網(wǎng)絡上的會議業(yè)務，其實現(xiàn)方式是在普通的IP網(wǎng)絡上架構了MBONE網(wǎng)絡，加入到MBONE的用戶可采用組播的形式發(fā)送信息，同時可以接收采用組播形式發(fā)送來的信息。其工作原理是組成MBONE的路由器均具有組播功能，同時進行組播通信的端到端所經(jīng)過的路由器均為組播路由器。當IP網(wǎng)絡上的路由器均具有組播功能時，MBONE將成為IP網(wǎng)絡的一部分而不再作為獨立的網(wǎng)絡存在。在利用路由器所具有的組播功能進行組播通信時，主要的技術難點在于：(1)用戶如何找到進行組播發(fā)送的源；(2)組播源用何種方式建立組播樹。

　　在提供組播業(yè)務時可采用兩種實現(xiàn)方式。一種是利用組建IP網(wǎng)絡的具有組播功能的路由器提供對一組用戶的組播，信息源僅需將需要進行組播的信息發(fā)送給具有組播功能的路由器，組播路由器將為該信息所提供的組播組編號返回給信息源，信息源將該組播組編號向擬獲得該信息的用戶公布，用戶通過加入相應的組播組編號加入到組播組從而接收到發(fā)送到組播組的組播信息。另一種實現(xiàn)方式是，信息源將信息發(fā)送到一個內(nèi)容分發(fā)設備，并將欲發(fā)送到的用戶的地址信息發(fā)送到該分發(fā)設備，由該分發(fā)設備將信息同時發(fā)送到列表中的所有用戶，完成組播服務。

　　目前在IP網(wǎng)絡上所提供的視訊直播節(jié)目是采用IP網(wǎng)絡所具有的組播功能向用戶提供的。為保護信息擁有者的數(shù)字版權，受控組播將是使用的主要方式。目前在一些國家正在進行在移動網(wǎng)絡上提供流媒體業(yè)務的試驗，為保持越區(qū)切換媒體流的連續(xù)性，在流媒體直播時，采用多地點組播方式來實現(xiàn)。

　　若組播組用戶的數(shù)量較大同時用戶的分布比較分散時，組播技術通常與CDN技術一起使用，利用CDN技術組建CDN網(wǎng)絡，由初始信息源將信息組播到緩存信息節(jié)點，各緩存信息節(jié)點將接收到的信息再以組播的方式轉(zhuǎn)發(fā)到用戶，從而減少主干網(wǎng)絡的擁塞和減輕信息服務器并發(fā)處理的壓力。

　　3.3　端到端下載技術

　　上述兩種內(nèi)容分發(fā)技術實施的主體通常是網(wǎng)絡運營商，內(nèi)容分發(fā)技術的使用費用通常較高�？紤]到目前用戶所使用的計算機能力(存儲能力和信息存取處理能力)較強，同時用戶所擁有的巨大的存儲空間通常處于閑置狀態(tài)，若能將這些閑置的存儲空間和處理能力利用起來，就可以在不增加用戶使用費用的同時增加巨大的網(wǎng)絡能力，同時用戶也可以在將自己的計算機能力貢獻出來的同時將自己的信息與其它人共享。為達到此目的，便出現(xiàn)了像BT一類的軟件，利用該類軟件可以實現(xiàn)用戶和用戶之間直接進行信息互換的對等通信。

　　采用端到端通信的方式進行內(nèi)容分發(fā)有兩種形式：純端到端的對等方式和橋方式對等通信。

　　純端到端的對等方式如圖3所示。在該方式下，用戶向周圍用戶詢問是否有其所要的信息，根據(jù)所收到的應答消息，選擇向存儲有所需信息的用戶中的一個請求發(fā)送信息。

圖3　純對等方式通信

　　圖3中，用戶Tn向周圍的用戶T1、T2、T3、T4和T5發(fā)送查找某種信息的請求，若先收到T1所發(fā)送來的信息，該用戶便開始從T1處下載所要的信息。若在此之后用戶Tn又接收到來自其它用戶的應答信息，該用戶將拒絕接收。

　　橋方式對等通信如圖4所示，其工作方式是所有擁有信息的用戶均登錄到稱為橋的服務器，該服務器將登錄上來的用戶所擁有的信息和用戶所在的IP地址均發(fā)送給登錄來的用戶，供用戶選擇。

圖4　橋方式對等通信

　　在圖4中，所有的用戶在登錄到橋服務器時均將自己愿意向其它用戶發(fā)送的信息一同發(fā)送到橋服務器，然后，橋服務器將其它用戶傳送來的可以提供的信息目錄發(fā)送給登錄的用戶，由用戶選擇到某一個或幾個用戶處下載所要的信息。若所要下載的文件較大時，相應的軟件負責將文件分割成若干個小碎片并由分散到各處的用戶分別下載并存儲在各自的存儲空間內(nèi)，橋服務器負責將存儲有碎片的用戶信息通知到需要下載該文件的用戶。用戶下載了相應的碎片后在本地按次序?qū)⑺槠�組裝成一個完整的文件后即可使用。

　　采用端到端對等方式下載文件時，需要擁有信息的用戶在線，同時需要擁有信息的用戶自愿向其它用戶發(fā)送其所具有的信息，用戶需要花費一段時間查找擁有信息的用戶。

　　采用橋服務器方式進行端到端對等下載時，假如一個較大的文件被分割為小碎片并存儲在不同的用戶終端內(nèi)，而下載信息的用戶從某一個用戶處下載信息尚未完成之前該用戶關機或離線，那么下載信息的用戶將可能無法獲得該文件的所有碎片，從而無法使用該文件。其補救措施可以是通過橋服務器到其它存有該部分信息的用戶處下載。

　　此種方式的內(nèi)容分發(fā)通常是按照用戶自律和用戶自愿的方式進行，對網(wǎng)絡運營商而言還沒有一種利用該服務獲利的方法，同時內(nèi)容提供者的內(nèi)容信息的數(shù)字版權也不能很好地保護。

　　4、小結

　　內(nèi)容分發(fā)技術是目前IP網(wǎng)絡上的許多需要進行信息共享類應用必備的一種技術。實現(xiàn)內(nèi)容分發(fā)功能的技術的使用成本和應用效率會直接關系到一些應用是否可以普及，如VOD。

　　本文中所介紹的三種內(nèi)容分發(fā)技術各有其優(yōu)點和不足。采用CDN技術的內(nèi)容分發(fā)方式具有一定的可管理性，可以提高業(yè)務的服務質(zhì)量，減輕骨干網(wǎng)絡的傳輸壓力，但目前還沒有能被普遍采用的緩存服務器內(nèi)容更新策略。當前的做法是CDN的具體實施者根據(jù)各自的經(jīng)驗選擇更新緩存服務器的策略，如存儲在特定時間內(nèi)用戶點擊率最高的信息，或者存儲某段時間內(nèi)可能是用戶最需要的信息，刪除那些已經(jīng)過時的、用戶不再需要的信息。實現(xiàn)這些策略需要做的統(tǒng)計管理工作量相對也較大，CDN設備對于提供多是免費服務的ICP而言價格相對較高�；�于組播的內(nèi)容分發(fā)技術實現(xiàn)內(nèi)容分發(fā)時，信息可以在同一時間內(nèi)發(fā)送到多個需要該信息的用戶。但該種方式或者要求構建IP網(wǎng)絡的路由器具有組播功能，或者要求配備有具有較高處理能力的設備來完成信息多地點發(fā)送功能。另外無限制的組播會給網(wǎng)絡增加很多的業(yè)務流量。采用端到端(peer to peer)通信的內(nèi)容分發(fā)方式可以靈活地利用用戶設備所具有的富余能力向其它用戶提供服務，從而解決網(wǎng)絡中部分區(qū)域的網(wǎng)絡擁塞和部分受歡迎的服務器處理能力不足的問題，但該技術在業(yè)務管理、贏利方式、用戶對業(yè)務的獲得和貢獻不均衡、知識產(chǎn)權保護等方面存在一些沒有解決的問題。

　　除了每種技術存在的特殊問題外，三種技術還具有共同的問題，這就是對信息的處理和知識產(chǎn)權保護問題。內(nèi)容分發(fā)技術是IP網(wǎng)絡上許多應用普及的必備技術之一，該類技術的發(fā)展和推廣使用將會促進相關產(chǎn)業(yè)的發(fā)展。

摘自　泰爾網(wǎng)