目前較多設(shè)備往往都是通過路由器,防火墻等改裝而成,但是要滿足OC192線速需求的設(shè)備往往價格非常的高,對于整個網(wǎng)絡(luò)進行全面的監(jiān)控投入十分巨大。因此采用特殊算法和器件對網(wǎng)絡(luò)數(shù)據(jù)進行分析的同時降低設(shè)備價格對于VoIP的全網(wǎng)監(jiān)控是一個可行的解決辦法。本文在解決實際問題的同時提出新型的算法和結(jié)構(gòu),對于目前的網(wǎng)絡(luò)測量,網(wǎng)絡(luò)計費都可以作為一種借鑒方法。
一、概述
過去的幾十年中,以TCP/IP為核心技術(shù)的互聯(lián)網(wǎng)得到了極大的發(fā)展,并已經(jīng)成為普通人日常生活的一部分。網(wǎng)絡(luò)測量在互聯(lián)網(wǎng)發(fā)展的早期并不為人們所重視,那時網(wǎng)絡(luò)的設(shè)計者更關(guān)注于提升網(wǎng)絡(luò)的速度、容量和覆蓋范圍。隨著互聯(lián)網(wǎng)規(guī)模的不斷擴大和網(wǎng)絡(luò)結(jié)構(gòu)的日益復(fù)雜,網(wǎng)絡(luò)本身也顯示出了許多問題,比如說病毒,網(wǎng)絡(luò)攻擊,垃圾郵件等等。這些問題的解決需要我們對于網(wǎng)絡(luò)的基本特征和網(wǎng)絡(luò)行為做進一步的了解。而網(wǎng)絡(luò)學科作為一門具有實驗物理學性質(zhì)的學科要想進一步發(fā)展又必須依賴于網(wǎng)絡(luò)真實數(shù)據(jù)的獲得,因此互聯(lián)網(wǎng)的測量和分析已經(jīng)成為當今網(wǎng)絡(luò)研究者所關(guān)心的重要課題之一。
網(wǎng)絡(luò)測量所研究的主要內(nèi)容就在于通過使用各種工具對網(wǎng)絡(luò)當前的參數(shù)進行測量,并進行相應(yīng)的分析。網(wǎng)絡(luò)測量的分類標準有多種,根據(jù)測量的方式分為主動測量和被動測量;根據(jù)測量點的多少,分為單點測量和多點測量;根據(jù)被測量者知情與否,分為協(xié)作式測量與非協(xié)作式測量;根據(jù)測量所采用的協(xié)議,分為基于BGP,OSPF等路由協(xié)議的測量、基于TCP/IP等網(wǎng)絡(luò)及傳輸層協(xié)議的測量以及基于SNMP,DNS等應(yīng)用層協(xié)議的測量等;根據(jù)測量的內(nèi)容又可分為拓撲測量與性能測量等。網(wǎng)絡(luò)中的參數(shù)可以主要分為:可用性(Availability)、丟失率(Loss)、延遲(Delay)、吞吐量(Throughput)等幾個方面。
隨著網(wǎng)絡(luò)技術(shù)的不斷進步和網(wǎng)絡(luò)融合趨勢的不斷增強,IP網(wǎng)絡(luò)上開始承載越來越多的傳統(tǒng)電信網(wǎng)和電視網(wǎng)上的業(yè)務(wù);與此同時,互聯(lián)網(wǎng)也不斷涌現(xiàn)更多的新業(yè)務(wù)。對于網(wǎng)絡(luò)應(yīng)用的測量也越來越受到研究人員的重視。尤其是VoIP業(yè)務(wù)的應(yīng)用在Internet網(wǎng)絡(luò)上發(fā)展速度尤其驚人。VoIP協(xié)議不斷涌現(xiàn),目前已經(jīng)在網(wǎng)絡(luò)中流行的協(xié)議包括H.323、MGCP、SIP、SKYPE。VoIP是一個CTI(三網(wǎng)合一)的一個典型應(yīng)用,它利用現(xiàn)有的數(shù)據(jù)網(wǎng)Internet作為基礎(chǔ)的承載網(wǎng)絡(luò),將傳統(tǒng)的電信語音信號進行編碼,然后在Internet上進行數(shù)據(jù)通信,完成語音的接續(xù)。
出于商業(yè)或者安全的目的,我們需要對這種新型的業(yè)務(wù)進行監(jiān)督。傳統(tǒng)的電信網(wǎng)絡(luò)監(jiān)測由于網(wǎng)絡(luò)是一個樹形結(jié)構(gòu),同時集中控制,非常有利于監(jiān)測,但是Internet網(wǎng)絡(luò)存在的結(jié)構(gòu)是網(wǎng)狀,同時沒有集中控制,所示需要新的設(shè)備來完成監(jiān)督和監(jiān)測,這是我們設(shè)計VoIP監(jiān)測的出發(fā)點。
二、系統(tǒng)描述與評價指標
。保到y(tǒng)描述
某個骨干網(wǎng)絡(luò)有n條出口,在某一段時間其中流過的數(shù)據(jù)包設(shè)為,其中存在m條VoIP(協(xié)議不盡),在經(jīng)過系統(tǒng)黑盒子分析后得到這m條呼叫記錄的元組(),分別是源IP地址、目的IP地址、源端口、目的端口、協(xié)議類型、創(chuàng)建時間、呼叫時長。
問題的難點在于IETF為許多應(yīng)用定義了一些公共的端口(Well-Knownport)用于提供應(yīng)用標識。不同應(yīng)用的識別可以通過檢測網(wǎng)絡(luò)報文中的端口號完成。目前絕大多數(shù)實際網(wǎng)絡(luò)之上的應(yīng)用測量工作采用的也是這種僅僅通過IP報頭中的五元組(源IP地址、源端口號、目的IP地址、目的端口號和協(xié)議號)進行識別的方法。
但是,隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,尤其是VoIP技術(shù)的廣泛應(yīng)用,僅僅靠端口號標識已經(jīng)無法識別網(wǎng)絡(luò)中的不同應(yīng)用,這些應(yīng)用主要是一些使用流媒體技術(shù)的新興應(yīng)用。另外,由于防火墻的廣泛應(yīng)用,越來越多的應(yīng)用開始故意的使用一定范圍內(nèi)隨機的或者是完全隨機的端口,除此之外,有些應(yīng)用不僅僅會使用非標準化的端口,有的時候還會故意的占用一些特殊的端口(比如說HTTP的80端口),來達到迷惑防火墻的目的。概括來說,目前網(wǎng)絡(luò)上的應(yīng)用識別和分類所遇到的困難主要有以下幾點:端口的隨機化;應(yīng)用的隱藏;新應(yīng)用的不斷出現(xiàn);網(wǎng)絡(luò)貸款的不斷提高。
系統(tǒng)的分析不能在傳統(tǒng)意義上的五元組匹配的方式進行,而必須使用更為高層的應(yīng)用層的數(shù)據(jù)分析。
。玻u價指標
我們的目標是設(shè)計與實現(xiàn)一種新的網(wǎng)絡(luò)語音應(yīng)用層程序的識別與分析系統(tǒng),這個系統(tǒng)有如下的特點:
。ǎ保┚速分析骨干網(wǎng)絡(luò)數(shù)據(jù)。電信級系統(tǒng)的基本要求就是在骨干網(wǎng)絡(luò)上的設(shè)備具有高度的穩(wěn)定性,與峰值流量的穩(wěn)定性。這個特點保證使得設(shè)備無論是串接或者是并行接入骨干網(wǎng)絡(luò)線路的時候不會對于整體網(wǎng)絡(luò)的影響。
。ǎ玻┸浻布到y(tǒng)的成本價格。由于Internet通信的特點,要將呼叫進行監(jiān)控時必須要對整個網(wǎng)絡(luò)進行布控,因此需要設(shè)備臺數(shù)較多,因此降低單位設(shè)備價格對于整個系統(tǒng)的投入十分有利。
三、相關(guān)工作:
當前,網(wǎng)絡(luò)測量已經(jīng)成為了網(wǎng)絡(luò)研究人員所關(guān)注的熱點問題。在國內(nèi)外,已經(jīng)有各種組織和研究機構(gòu)對其進行了大量的研究。這主要包括以下幾大方面。
。ǎ保⿵臉藴手贫ǚ矫鎭砜矗夯ヂ(lián)網(wǎng)的標準化組織IETF其下屬的IPPMWG、IPFIXWG、PSAMPWG等工作組都在進行有關(guān)網(wǎng)絡(luò)測量的研究。其中IPPM工作負責組織制定了有關(guān)的互聯(lián)網(wǎng)數(shù)據(jù)傳輸?shù)馁|(zhì)量,性能和可靠性相關(guān)指標;IPFIX工作組主要研究IP設(shè)備輸出數(shù)據(jù)流信息的相關(guān)標準;PSAMP工作組則主要研究通過使用統(tǒng)計學和其它方法進行報文采樣的相關(guān)標準化工作。
。ǎ玻⿵难芯繖C構(gòu)來看:比較著名的進行大規(guī)模網(wǎng)絡(luò)測量研究的國際組織有NLANR、CAIDA、PLANETLAB等。這其中美國的應(yīng)用網(wǎng)絡(luò)研究國家實驗室NLANR(NationalLaboratoryforApplied Network Research)下屬的AMP(Active Measurement Project)和PAM(Passive Measurement and Analysis Project)項目對于美國的學術(shù)網(wǎng)絡(luò)進行了大規(guī)模的主動測量和被動測量的相關(guān)研究,是網(wǎng)絡(luò)測量領(lǐng)域非常有影響力的項目。CAIDA(Cooperative Association for Internet Data Analysis)是一個由商業(yè),政府和研究機構(gòu)共同組成的專門從事網(wǎng)絡(luò)測量相關(guān)研究的國際組織,做出了很多有影響力的研究工作,開發(fā)了很多網(wǎng)絡(luò)測量工具,同時該組織也提供相關(guān)的試驗源數(shù)據(jù)供研究人員進行分析。PlanetLab項目所關(guān)注的重點則主要在Overlay網(wǎng)絡(luò)之上的相關(guān)網(wǎng)絡(luò)測量。
(3)從學術(shù)研究上來看:隨著網(wǎng)絡(luò)測量越來越受到研究人員的重視,這幾年來也有大量的相關(guān)研究成果產(chǎn)生。國際上比較著名的計算機組織比如說IEEE和ACM都有專門的會議對行這方面的研究進行交流。比較著名的國際會議有ACM組織的SIGCOM會議贊助的IMC(InternetMeasurementConference),PAM(Passive& Active Measurement Workshop)等。除此之外在IPOM、NOMS以及INFOCOM等與網(wǎng)絡(luò)管理和網(wǎng)絡(luò)技術(shù)研究相關(guān)的會議中也有許多相關(guān)的學術(shù)論文發(fā)表,對網(wǎng)絡(luò)測量及其相關(guān)研究做出了很多理論工作。
。ǎ矗⿵腣oIP測量技術(shù)方面來看:國內(nèi)外的研究處在一個發(fā)展的階段,各個協(xié)議有相關(guān)的網(wǎng)絡(luò)管平臺和網(wǎng)管標準來對呼叫進行集中控制.集中起來進行控制的研究目前還是一個盲點.我們的工作利用網(wǎng)絡(luò)測量技術(shù)在VoIP方面進行應(yīng)用,同時根據(jù)VoIP測量本身的特點提出了一個體系結(jié)構(gòu)和核心查找器件,在這方面進行了有益的嘗試。
四、VoIP監(jiān)測系統(tǒng)
1.術(shù)語
接入網(wǎng):省、市、自治區(qū)的各種網(wǎng)絡(luò)接入服務(wù)器之間構(gòu)成的網(wǎng)絡(luò)。
骨干網(wǎng):各個接入網(wǎng)的上一級網(wǎng)絡(luò),相當于OSPF協(xié)議的Area0。
流量鏡像:利用路由交換機的流量鏡像功能,將某個設(shè)備端口的流量按照某種方式鏡像產(chǎn)生到該設(shè)備另外一個空閑的端口上。
語音干擾:在原有話音的基礎(chǔ)上加入一些合成的提示音(常見于剩余通話時間提示),或者加入噪聲干擾,是的通話質(zhì)量降低。
。玻到y(tǒng)結(jié)構(gòu)
網(wǎng)絡(luò)監(jiān)測系統(tǒng)是一個采用跨接或者鏡像分析互連網(wǎng)絡(luò)數(shù)據(jù)的系統(tǒng)。它的主要功能是從海量的數(shù)據(jù)包中快速過濾出需要的信息,然后對過濾出的數(shù)據(jù)進行分析,得出監(jiān)測結(jié)果。例如某IP群用戶的網(wǎng)絡(luò)訪問目的,所有互聯(lián)網(wǎng)H.323呼叫信息,ICQ信息中包含特定字符的用戶等等。網(wǎng)絡(luò)監(jiān)測系統(tǒng)相對于網(wǎng)絡(luò)計費系統(tǒng)來說的特點是需要處理高速的數(shù)據(jù)流,過濾出的有用信息非常少。因此降低了監(jiān)測成本與監(jiān)測速度比的核心就是采用簡單的硬件設(shè)備,來完成數(shù)據(jù)的過濾。
目前的網(wǎng)絡(luò)監(jiān)測系統(tǒng)很多都是利用現(xiàn)有的高端路由器或者防火墻來進行改造,這樣的做法優(yōu)點是開發(fā)周期短,但是缺點是大量的硬件配置閑置與巨大成本投入。本文介紹的網(wǎng)絡(luò)監(jiān)測系統(tǒng)的結(jié)構(gòu)能夠利用簡單的器件來完成高速的過濾,能夠在節(jié)省開發(fā)周期的同時減少硬件成本的投入。
下面先介紹網(wǎng)絡(luò)監(jiān)測系統(tǒng)在網(wǎng)絡(luò)的架設(shè)與連接方式。網(wǎng)絡(luò)監(jiān)測設(shè)備的實際機架物理圖,這個物理結(jié)構(gòu)不是必須的。但這樣可充分利用網(wǎng)絡(luò)監(jiān)測設(shè)備的連接特點,既能連接匯聚層或者骨干層的設(shè)備,同時也使用了接入設(shè)備。
網(wǎng)絡(luò)監(jiān)測設(shè)備的兩種邏輯連接結(jié)構(gòu)。這兩種方式各有優(yōu)缺點,第一種方式需要對網(wǎng)絡(luò)首先進行斷網(wǎng)或者數(shù)據(jù)流的轉(zhuǎn)向(首先利用其它設(shè)備進行通信然后進行施工),同時監(jiān)測設(shè)備的性能直接影響到整個網(wǎng)絡(luò)的性能,對于監(jiān)測設(shè)備這種周邊設(shè)備,很少有運營商愿意接受。第二種方式是采用路由交換機的鏡像功能來進行數(shù)據(jù)的取得,但是也存在問題,利于路由交換機的速率較低一般都在2.5G以下。
。常O(shè)計與實現(xiàn)
。ǎ保┯布到y(tǒng)
硬件的結(jié)構(gòu),其中數(shù)據(jù)從光纖數(shù)據(jù)接口經(jīng)過模塊轉(zhuǎn)化為實際的數(shù)據(jù)包,由于大多數(shù)光纖的速度為OC48(2.5G)或者OC192(10G)的接口,對于這樣高速度的數(shù)據(jù)進行緩存然后分析按照目前SDRAM的速度來說是不可能實現(xiàn)的,同時網(wǎng)絡(luò)VoIP數(shù)據(jù)的特點就是VoIP只占整個網(wǎng)絡(luò)流量的很少一部分,而且在分析的過程中只需要分析協(xié)議的開始于結(jié)尾信息(經(jīng)過實際分析發(fā)現(xiàn)只有百萬分之二一下的流量)。于是我們在設(shè)備中加入了一個并行硬件過濾系統(tǒng),來將整個網(wǎng)絡(luò)流量的絕大多數(shù)過濾。
。ǎ玻┎⑿杏布^濾系統(tǒng)結(jié)構(gòu)
這個系統(tǒng)模擬人的思維過程。在我們長期對于人類思維模式的分析中我們發(fā)現(xiàn)有時候我們不能準確的記住某個畫面或者某個人物(相比計算機來說)。但是當情景再現(xiàn)或者整個人出現(xiàn)在我們面前的時候我們就能立刻認出來。同時這種認出也是一種在很少概率情況下允許錯誤的。BloomFilter的出現(xiàn)模擬了人的思維過程,BloomFilter在可調(diào)整的允許地范圍內(nèi)設(shè)定匹配錯誤的幾率,通過少量的存儲來完成搜索的過濾。
但是對于電信級的應(yīng)用來說,需要達到線速的處理,而且準確率需要達到99.999%的情況下使用BloomFilter已經(jīng)意義不大,而且BloomFilter實現(xiàn)起來仍然需要大量設(shè)備與存取器件,我們設(shè)計出一種新的算法:并行硬件過濾算法,同時采用硬件實現(xiàn)了該算法。
(3)算法介紹
令表示一串字符表,我們將整個字符分段.下面的表1給出了一個例子,其中m=6。
下面我們將縱向上的一個串放到一個環(huán)形數(shù)字圖上進行分析。令分別表示的縱向方向上存在最大空襲的最大值和最小值。以表1的第一個串為例,按照從小到大,在構(gòu)成環(huán)的方式。其中可以看出01010101與11000011之間的空隙最大,因此max()=11000011,min()=01010101.由于空隙的出現(xiàn)有可能在兩端(例如:00000000和11111111之間),我們設(shè)置一個位寄存器flag來記錄是否存在這樣的現(xiàn)象。
----《通訊世界》