數(shù)據(jù)中心測(cè)試面臨的挑戰(zhàn)

1  引言

今天，數(shù)據(jù)中心比以往更大、更快、更復(fù)雜。虛擬化、以太網(wǎng)光纖通道和40/100G以太旨在幫助企業(yè)將多種類型的傳輸流，即數(shù)據(jù)、存儲(chǔ)、視頻和語音轉(zhuǎn)移到一個(gè)單一的、融合的核心中。就如老話所說：“你不能管理你不能測(cè)量的東西”，對(duì)這些新技術(shù)的驗(yàn)證和性能評(píng)估是實(shí)現(xiàn)這些新技術(shù)至關(guān)重要的第一步。在數(shù)據(jù)中心環(huán)境中，這意味著不僅單獨(dú)測(cè)試每一項(xiàng)技術(shù)，而且還與許多其它數(shù)據(jù)中心的新老組件一起進(jìn)行測(cè)試。簡(jiǎn)而言之，關(guān)鍵問題是：當(dāng)擴(kuò)展數(shù)據(jù)中心時(shí)，如何驗(yàn)證所有的組件是否能像一個(gè)密不可分的整體那樣一起工作。本文將逐一討論每一項(xiàng)新數(shù)據(jù)中心技術(shù)，并詳細(xì)論述每一種技術(shù)面臨的重大測(cè)試挑戰(zhàn)。

2  虛擬化

這些年來，一直使服務(wù)器受益的虛擬化開始進(jìn)入聯(lián)網(wǎng)的設(shè)備。測(cè)試虛擬網(wǎng)絡(luò)設(shè)備和服務(wù)器提出了以下幾個(gè)有趣的新問題：

（1）測(cè)試儀器怎樣能連接在虛擬網(wǎng)絡(luò)設(shè)計(jì)上

對(duì)于許多類型的測(cè)試，一條到運(yùn)行虛擬交換機(jī)的物理服務(wù)器的連接將是不夠的。一個(gè)物理接口可能為幾十個(gè)虛擬機(jī)（VM）實(shí)例處理傳輸流，因此使隔離和測(cè)量每個(gè)VM實(shí)例的性能變得很困難。

現(xiàn)在需要的是虛擬化測(cè)試儀的功能。虛擬的測(cè)試儀器運(yùn)行在軟件中，因此在運(yùn)行虛擬網(wǎng)絡(luò)和服務(wù)器實(shí)例的物理機(jī)器內(nèi)部運(yùn)行。從虛擬網(wǎng)絡(luò)設(shè)備的觀點(diǎn)來看，一個(gè)測(cè)試端口與它在物理世界中沒有什么兩樣。

當(dāng)然，虛擬測(cè)試儀器應(yīng)當(dāng)提供與物理儀器相同的功能。測(cè)試儀器應(yīng)當(dāng)能夠提供任意數(shù)量和任意組合的虛擬和物理接口間的傳輸流，作為單一實(shí)體測(cè)量整個(gè)系統(tǒng)。它還應(yīng)當(dāng)能夠在虛擬和物理接口上提供測(cè)試人員需要的任意從2層到7層的傳輸流模式。

（2）是否能信賴運(yùn)行在虛擬機(jī)上的測(cè)試儀

運(yùn)行在軟件中的測(cè)試儀的概念肯定不是新東西；實(shí)際上，基于軟件的網(wǎng)絡(luò)測(cè)試工具出現(xiàn)的日期比基于硬件的儀器早幾十年，但是基于軟件的測(cè)試工具常常更多地提供關(guān)于基礎(chǔ)組件（如網(wǎng)絡(luò)棧、主機(jī)操作系統(tǒng)、驅(qū)動(dòng)程序和網(wǎng)絡(luò)接口卡）的測(cè)量值。

基于軟件的工具還會(huì)產(chǎn)生不可重復(fù)或不可重現(xiàn)的結(jié)果。

一種確保測(cè)量值可信賴的策略是在軟件中實(shí)現(xiàn)整個(gè)測(cè)試儀――包括對(duì)硬件組件的基于軟件的仿真。這種方法需要比純軟件工具設(shè)計(jì)更嚴(yán)格的方法實(shí)現(xiàn)系統(tǒng)設(shè)計(jì)。不過，好處是顯而易見的：通過在軟件中仿真整個(gè)測(cè)試儀，儀器的測(cè)量結(jié)果對(duì)外部因素的依賴程度大大減少。因此，一臺(tái)儀器將產(chǎn)生比純軟件工具更有意義的測(cè)量結(jié)果。

（3）虛擬和物理交換機(jī)性能是否相當(dāng)

線速吞吐量和低延時(shí)與抖動(dòng)長(zhǎng)期以來一直是物理以太網(wǎng)交換機(jī)的標(biāo)志，而它們的虛擬同行可能沒法與之相比。對(duì)早期虛擬交換機(jī)的測(cè)試顯示，在低達(dá)50 Mbit/s的負(fù)載下就會(huì)出現(xiàn)丟幀。此外，這些測(cè)試只涉及到一臺(tái)虛擬交換機(jī)上的一對(duì)接口；相比之下，交換機(jī)和路由器測(cè)試的標(biāo)準(zhǔn)作法是將測(cè)試接口連接在所有交換機(jī)端口上，以全網(wǎng)格模式產(chǎn)生傳輸流，這是比使用單一端口對(duì)壓力大得多的測(cè)試模式。

即使虛擬交換機(jī)永遠(yuǎn)無法處理像物理交換機(jī)那樣沉重的負(fù)載（虛擬網(wǎng)絡(luò)早期時(shí)代中的一種靠不住的假定），但進(jìn)行壓力測(cè)試對(duì)于描述系統(tǒng)性能極限仍很重要。

（4）虛擬交換機(jī)是否支持與物理交換機(jī)同樣的協(xié)議和功能

在評(píng)估以太網(wǎng)交換機(jī)時(shí)，網(wǎng)絡(luò)管理員常常至少像強(qiáng)調(diào)性能那樣強(qiáng)調(diào)可靠性和特性。功能性測(cè)試對(duì)于虛擬交換機(jī)就如同性能和可伸縮性測(cè)試那樣同等重要，應(yīng)當(dāng)成為任何數(shù)據(jù)中心測(cè)試方法的一部分。

網(wǎng)絡(luò)管理員有理由期待任何現(xiàn)代以太網(wǎng)交換機(jī)支持像虛擬LAN（VLAN）和訪問控制列表（ACL）等特性，以及用于轉(zhuǎn)發(fā)多播傳輸流的Internet組管理協(xié)議（IGMP）。這些協(xié)議（通常還有許多其它協(xié)議）通常是物理交換機(jī)性能測(cè)試內(nèi)容的一部分；它們也應(yīng)當(dāng)成為測(cè)試虛擬交換機(jī)的內(nèi)容。

3  以太網(wǎng)光纖通道（FCoE）

到目前為止，光纖通道（FC）是存儲(chǔ)區(qū)域網(wǎng)（SAN）中使用最廣泛的傳輸技術(shù)。把它融入基于以太網(wǎng)的數(shù)據(jù)中心提出了特殊的挑戰(zhàn)。FC利用管理幀確定終端和交換結(jié)構(gòu)，以及提供以太網(wǎng)中所沒有的流控制特性。另外，與以太網(wǎng)不同，F(xiàn)C用于以無丟幀方式運(yùn)行；相比之下，以太網(wǎng)網(wǎng)絡(luò)可以容忍丟幀。FC傳輸流對(duì)延時(shí)和抖動(dòng)的增加高度敏感。

以太網(wǎng)光纖通道（FCoE）將FC傳輸流封裝在以太網(wǎng)幀中，因此大大減少了數(shù)據(jù)中心的接口和線纜數(shù)量。但是，它本身并不保護(hù)前面提到的FC特有的特性。IEEE開發(fā)了幾種新規(guī)范來確�？煽康靥峤籉C傳輸流――而這些規(guī)范中的每一種都需要測(cè)試，尤其在許多數(shù)據(jù)中心中越來越常見的混合以太網(wǎng)/FCoE部署中。

新IEEE規(guī)范包括以下內(nèi)容：

（1）802.1Qbb優(yōu)先流控制（PFC）

允許多種傳輸流種類（如FCoE和非FCoE傳輸流）共享以太網(wǎng)鏈路的擁塞控制機(jī)制。同IEEE 802.3x中定義的較早版本的以太網(wǎng)流控制一樣，PFC也應(yīng)當(dāng)成為測(cè)試虛擬交換機(jī)的內(nèi)容。

（2）802.1Qaz優(yōu)先組

這種調(diào)度機(jī)制旨在為多種傳輸流種類確保一致的服務(wù)質(zhì)量水平。

（3）數(shù)據(jù)中心橋接交換（DCBX）

這種IEEE的鏈路層發(fā)現(xiàn)協(xié)議(LLDP)的擴(kuò)展集合使數(shù)據(jù)中心設(shè)備可以在鏈路建立時(shí)交換能力信息。DCBX利用LLDP傳送數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)特有的消息，如PFC或802.1Qaz優(yōu)先組的使用。
基本FCoE測(cè)試包括對(duì)這種新協(xié)議的功能驗(yàn)證。具有FCoE功能的測(cè)試儀器應(yīng)當(dāng)幫助解答一些問題，如FCoE接口是否正確使用FC初始化協(xié)議（FIP）來發(fā)現(xiàn)，然后登入和退出交換結(jié)構(gòu)；FC終端ID（FCID）是否正確地與以太網(wǎng)MAC地址對(duì)應(yīng)等問題。

在更高級(jí)的FCoE基準(zhǔn)測(cè)試中，測(cè)試儀器產(chǎn)生和分析多種FCoE和非FCoE傳輸流類組合。這里最重要的是FCoE兼容設(shè)備在擁塞時(shí)期是否很好地察覺優(yōu)先流控制消息。同步是評(píng)估PFC效率時(shí)的關(guān)鍵因素。

同常規(guī)的以太網(wǎng)暫停幀一樣，PFC消息包含一個(gè)暫停量子（Pause Quanta）。這種暫停量子指示設(shè)備應(yīng)當(dāng)暫停傳送多少時(shí)間。一個(gè)暫停量子等于512 bit時(shí)間，等價(jià)于10Gbit/s速度時(shí)的51.2ns。注意，暫停量子指示接口應(yīng)當(dāng)延遲傳送的最大時(shí)間量；如果設(shè)備發(fā)送指示擁塞清除的XON消息，實(shí)際時(shí)間可能會(huì)短一些。

在產(chǎn)生PFC幀后，測(cè)試儀器可以測(cè)量暫停持續(xù)時(shí)間和暫停響應(yīng)時(shí)間，即收到PFC消息和實(shí)際的暫停之間的間隔。此外，暫停響應(yīng)時(shí)間可能對(duì)于PFC XOFF和XON消息是不同的。

通過產(chǎn)生具有不同的暫停量子（并且使用多種幀長(zhǎng)度）來產(chǎn)生多種傳輸量類型，測(cè)試儀器可以生成復(fù)雜的負(fù)載來仿真FCoE交換機(jī)在生產(chǎn)網(wǎng)絡(luò)中可能遇到的壓力。

參考圖1所示的測(cè)試儀器，這臺(tái)儀器最初同時(shí)生成3種類型的傳輸流，標(biāo)記為P1，P2和P3。

圖1  測(cè)試儀器最初同時(shí)生成3種類型的傳輸流

測(cè)試儀器對(duì)每種傳輸流類型使用不同的XOFF/XON間隔，并用不同的間隔重復(fù)產(chǎn)生每一類傳輸流，具體參見表1。

在本例中，所有3種優(yōu)先級(jí)最初同時(shí)發(fā)送PFC XOFF消息，每個(gè)都具有65536的暫停量子。大約150μs后，P2類發(fā)送XON消息，緊接著測(cè)試儀器在50μs后發(fā)送P1傳輸流的XON消息。在300μs時(shí)，測(cè)試儀器發(fā)送P3傳輸流的XON消息。然后，重復(fù)整個(gè)循環(huán)：從第一個(gè)消息后的450μs發(fā)送P2傳輸流的XOFF消息開始。

由于使用不同的幀長(zhǎng)度和PFC間猝發(fā)間隔，不同傳輸流類型迅速變得不同步，從而給FCoE設(shè)備施加沉重的負(fù)擔(dān)。

此外，隨著端口數(shù)量的增加，測(cè)試變得壓力越來越大。當(dāng)測(cè)試具有數(shù)百或數(shù)千個(gè)端口（每個(gè)端口都處理多種PCoE和非FCoE幀組合）的數(shù)據(jù)中心時(shí)，交換機(jī)的流控制邏輯必須跟上以10Gbit/s以太網(wǎng)線速（或更高的速度，如下節(jié)所討論的那樣）潮水般涌來的PFC消息。正如使用任何新技術(shù)那樣，必須謹(jǐn)慎對(duì)PFC功能進(jìn)行壓力測(cè)試來確定系統(tǒng)性能的極限。

4  40/100G以太網(wǎng)

數(shù)據(jù)中心的另一個(gè)重要技術(shù)驅(qū)動(dòng)力是40Gbit/s和100Gbit/s版本以太網(wǎng)技術(shù)的即將到來。一方面，這些新傳輸技術(shù)是“純以太網(wǎng)”，只不過速度更快；另一方面，它們對(duì)測(cè)試設(shè)備提出更大的挑戰(zhàn)，甚至包括統(tǒng)計(jì)包數(shù)的能力。

這些新版以太網(wǎng)提出以下新測(cè)試挑戰(zhàn)：

●我的測(cè)試儀器能統(tǒng)計(jì)幀數(shù)嗎？
●我的測(cè)試儀器能提供準(zhǔn)確的延時(shí)和抖動(dòng)測(cè)量值嗎？
●我的測(cè)試儀器能測(cè)量作為單一實(shí)體的40/100Gbit/s以太網(wǎng)嗎？
●我的測(cè)試儀器能確定先后次序嗎？

第一個(gè)問題，即統(tǒng)計(jì)幀數(shù)，似乎太顯而易見，不需要提出來。但是在40/100Gbit/s以太網(wǎng)上獲得準(zhǔn)確的包數(shù)將是測(cè)試儀器面臨的重大的技術(shù)挑戰(zhàn)。搞清楚時(shí)間戳分辨率的概念有助于了解其中的原因。

時(shí)間戳分辨率刻畫測(cè)試儀器記錄每個(gè)測(cè)試端口上的幀離開和到達(dá)時(shí)間的精度。在測(cè)量傳送時(shí)間和統(tǒng)計(jì)包數(shù)時(shí)，測(cè)試儀器在每個(gè)幀中嵌入一個(gè)“簽名域”。