通信網(wǎng)banner.jpg)
光纖通道（Fibre Channel，F(xiàn)C）以可擴(kuò)展性好、高帶寬、通用性強(qiáng)及傳輸距離遠(yuǎn)等優(yōu)點(diǎn)而成為存儲(chǔ)區(qū)域網(wǎng)（SAN）的主流技術(shù)之一，速率已從1G、2G發(fā)展到4G、8G。近年來，企業(yè)的存儲(chǔ)應(yīng)用出現(xiàn)了急劇增長(zhǎng)，公眾對(duì)業(yè)務(wù)連續(xù)性和災(zāi)難恢復(fù)的重要性也有了更多的認(rèn)識(shí)。隨著SAN規(guī)模的不斷擴(kuò)大，及基于數(shù)據(jù)安全性的考慮，企業(yè)的服務(wù)器和數(shù)據(jù)中心，或主、備數(shù)據(jù)中心很可能處在不同的地理位置。因此，企業(yè)SAN應(yīng)用也自然而然出現(xiàn)了存儲(chǔ)擴(kuò)展（Storage Extension）的需求，即在企業(yè)內(nèi)部不同存儲(chǔ)島（SAN Island）之間傳送數(shù)據(jù)的需求。
現(xiàn)有的FC長(zhǎng)途傳送方法
FC標(biāo)準(zhǔn)ANSI INCITS 404 FC-PI-2規(guī)定了1G、2G、和4G FC設(shè)備的光接口標(biāo)準(zhǔn)，可在850nm波段多模光纖中傳輸300米，或在1310nm波段單模光纖中傳輸10km。這兩類接口比較適合校園大小的SAN的樓間或樓內(nèi)連接。對(duì)于更遠(yuǎn)的FC連接，比較現(xiàn)實(shí)的做法是通過已有的城域網(wǎng)（MAN，傳送距離200km以上）或廣域網(wǎng)（WAN，傳送距離1000km以上）來傳送FC信號(hào)。
圖1：不同信用時(shí)2G FC在不同傳送距離處出現(xiàn)了有效通量降低。
通過現(xiàn)有的MAN或WAN傳送FC信號(hào)的傳統(tǒng)辦法有：可以直接把FC信號(hào)調(diào)制到波分復(fù)用（WDM）波長(zhǎng)上，通過城域或長(zhǎng)途波分復(fù)用設(shè)備來傳送（可經(jīng)過2R或3R再生），或者先通過ITU-T G.7041同步GFP-T封裝然后通過虛級(jí)聯(lián)或相鄰級(jí)聯(lián)映射入SDH/SONET幀中傳送，或者這兩種辦法結(jié)合起來使用。但本質(zhì)上來講，以上提到的這些辦法都是對(duì)FC信號(hào)的完全透明傳送（即使在同步GFP-T封裝時(shí)對(duì)FC信號(hào)進(jìn)行了8B/10B編解碼），傳送設(shè)備不需要知道傳送的內(nèi)容是什么，F(xiàn)C完全按照自身的協(xié)議控制數(shù)據(jù)流的傳送。FC光信號(hào)的傳送在物理層上或許因?yàn)楦〉乃p可以傳得更遠(yuǎn)，然而實(shí)際上，由于FC自身的緩存到緩存流量控制（BB Flow Control）協(xié)議的限制，當(dāng)FC信號(hào)在傳送了一定距離后，數(shù)據(jù)的有效通量（Effective Throughput）迅速下降。
FC架構(gòu)采用了基于信用（Credit）的流量控制協(xié)議，以避免接收設(shè)備發(fā)生擁塞而被迫丟棄幀的事件。FC發(fā)送端的Credit代表了FC接收設(shè)備接收幀的能力。如果接收端沒有頒發(fā)信用（Issue Credit）給發(fā)送端，發(fā)送端就不可以發(fā)送幀。這種基于Credit的流量控制機(jī)制，有助于避免幀的丟失，減少了重發(fā)整個(gè)FC序列的概率。FC標(biāo)準(zhǔn)定義了兩種流量控制協(xié)議，一個(gè)是端到端流量控制（EE Flow Control），另一個(gè)是緩存到緩存流量控制。
緩存到緩存流量控制是相互通訊的兩個(gè)FC端口的連接通路上的任意兩個(gè)相鄰的FC端口之間的流量控制。例如兩個(gè)節(jié)點(diǎn)端口（N-Port）直接相連或通過Fabric進(jìn)行端到端通訊，那么相鄰的節(jié)點(diǎn)端口到節(jié)點(diǎn)端口（N-Port to N-Port）之間，節(jié)點(diǎn)端口到Switch端口（N-Port to F-Port）之間，或Switch端口與Switch端口（E-Port to E-Port）之間的流量控制均為緩存到緩存的流量控制。緩存到緩存流量控制的信用（BB-Credit）也是在相鄰兩個(gè)FC端口相互Login時(shí)達(dá)成的。Login完成后，端口的BB-Credit-CNT置為0。當(dāng)FC發(fā)送端口發(fā)送一個(gè)數(shù)據(jù)幀或者鏈路控制響應(yīng)幀時(shí)，其BB-Credit-CNT增加1。當(dāng)每個(gè)數(shù)據(jù)幀或鏈路控制響應(yīng)幀被接收端口收到并能夠處理，接收端口就回發(fā)一個(gè)原語信號(hào)（Primary Signal）R-RDY。當(dāng)FC發(fā)送端口收到一個(gè)R-RDY時(shí)，其BB-Credit-CNT就減小1。當(dāng)一個(gè)FC端口的BB-Credit-CNT增至Credit時(shí)，它就不可以繼續(xù)發(fā)送數(shù)據(jù)幀或鏈路控制響應(yīng)幀。緩存到緩存的流量控制適合Class 2、3、F及幀起始定界符（SOF）為SOFc1的Class 1、6業(yè)務(wù)類型的傳送。
圖2：FC-BB-3-GFPT協(xié)議層和傳送模型。[2]
在緩存到緩存流量控制模式下，如果接收端接收幀的能力有限（即發(fā)送端的Credit較低），或者發(fā)送端和接收端的距離過遠(yuǎn)（更確切地說是時(shí)延過大）以至于不能很快收到回發(fā)的R-RDY，這樣，發(fā)送端就很快用完了Credit而經(jīng)常處于等待R-RDY的狀態(tài)，因而不能持續(xù)發(fā)幀。這就是為什么FC的傳送經(jīng)過一段距離后就出現(xiàn)了有效通量降低。這個(gè)現(xiàn)象降低了MAN或WAN的帶寬利用率。在兩端口相互Login時(shí)增加Credit倒是一個(gè)有效的辦法，但通常FC設(shè)備分配給每一個(gè)端口的資源是有限的，不可能無限提高每一個(gè)端口的接收能力（很多FC設(shè)備的每個(gè)端口所能支持的最大Credit在30左右，但也有一些設(shè)備分配給特殊端口幾百個(gè)Credit）。當(dāng)然，增加幀的平均幀長(zhǎng)，也可以緩解Credit不足的壓力。測(cè)試發(fā)現(xiàn)，當(dāng)傳送最大幀長(zhǎng)2148字節(jié)的1G FC幀并設(shè)置信用為32時(shí)，在傳送距離約80公里的時(shí)候開始出現(xiàn)有效通量降低。然而，規(guī)定幀以最大幀長(zhǎng)發(fā)送并不是切實(shí)可行的。
新標(biāo)準(zhǔn)
由此看來，即便是通過現(xiàn)有的MAN或WAN來傳送FC，其傳送距離的受限很可能不是因?yàn)閭魉途W(wǎng)絡(luò)的限制，而是FC自身的流量控制協(xié)議限制了業(yè)務(wù)的傳送。為了克服這個(gè)問題，各種距離延伸傳送方案也就應(yīng)運(yùn)而生了。
2006年7月，T11技術(shù)委員會(huì)批準(zhǔn)了一個(gè)新的FC標(biāo)準(zhǔn)，即ANSI INCITS 414 FC-BB-3。在這個(gè)標(biāo)準(zhǔn)里針對(duì)緩存到緩存流量控制模式的FC業(yè)務(wù)提出了一種新的長(zhǎng)距傳送方案，即FC-BB-3-GFPT。這個(gè)方案里，距離延伸傳送功能是由FC-BB-3-GFPT器件實(shí)現(xiàn)的。標(biāo)準(zhǔn)只對(duì)FC-BB-3-GFPT器件的功能進(jìn)行了定義，在具體設(shè)計(jì)中，可由多個(gè)ASIC或FPGA聯(lián)合實(shí)現(xiàn)。這個(gè)方案可使FC在基于SONET/SDH/OTN/PDH的MAN或WAN上實(shí)現(xiàn)長(zhǎng)距離傳送。
圖3：透明傳送的FC和FC-BB-3-GFPT長(zhǎng)距傳送的FC。
FC-BB-3-GFPT是個(gè)雙向傳送的器件。它一端連接客戶FC設(shè)備，另外一端連接MAN或WAN（在FC-BB-3標(biāo)準(zhǔn)中，傳送網(wǎng)一側(cè)在功能上被定義為WAN）。面向FC設(shè)備的一端，F(xiàn)C-BB-3-GFPT仿真成一個(gè)FC-2層接口并適配到編碼層FC-1和物理層FC-0。然而，F(xiàn)C-BB-3-GFPT并不是一個(gè)真正的FC器件，它只具有FC協(xié)議的最低兩層，因此FC-BB-3-GFPT在客戶端只是一個(gè)FC的物理接口。這個(gè)物理接口甚至可以支持同相連的FC客戶設(shè)備進(jìn)行鏈路速率協(xié)商。兩端客戶FC設(shè)備，以點(diǎn)對(duì)點(diǎn)的方式，通過兩端帶FC-BB-3-GFPT器件的SONET/SDH/OTN/PDH傳送網(wǎng)相連。每一個(gè)FC-BB-3-GFPT器件也許面對(duì)多個(gè)客戶端FC接口，然而，每一對(duì)經(jīng)過FC-BB-3-GFPT和傳送網(wǎng)絡(luò)相連的客戶FC設(shè)備之間的通訊，占用的都是各自專用的傳送路徑。這里所說的專用傳送路徑，是邏輯上的概念，或許是物理上走不同的光纖，或許是同一個(gè)SONET/SDH幀中不同的支路時(shí)隙。
FC-BB-3-GFPT器件把從一端FC設(shè)備收到的幀經(jīng)過傳送網(wǎng)全部轉(zhuǎn)發(fā)給另一端的FC設(shè)備。FC-BB-3-GFPT器件本身并不產(chǎn)生FC幀，也并不直接參與FC端口的初始化。FC-BB-3-GFPT器件不必遵守關(guān)于FC端口認(rèn)證的要求，它也不干涉通過FC-BB-3-GFPT器件連接的FC設(shè)備間所發(fā)生的這類過程。FC-BB-3-GFPT器件不具有FC身份和可見性。從管理上來講，F(xiàn)C-BB-3-GFPT可以同F(xiàn)C設(shè)備完全隔離開。
圖4：FC-BB-3-GFPT狀態(tài)機(jī)。
那么，F(xiàn)C-BB-3-GFPT是怎樣延長(zhǎng)FC傳送距離的呢？奧秘在于FC-BB-3-GFPT器件參與了FC的緩存到緩存的流量控制。當(dāng)FC-BB-3-GFPT器件在收到來自于相連的FC設(shè)備的幀后，馬上代替遠(yuǎn)端的FC設(shè)備回發(fā)了R-RDY，而不必等到遠(yuǎn)端的FC設(shè)備發(fā)送R-RDY回來（實(shí)際上，F(xiàn)C-BB-3-GFPT器件終結(jié)了R-RDY，而不是在兩個(gè)FC設(shè)備之間轉(zhuǎn)發(fā)R-RDY）。收到R-RDY后，F(xiàn)C設(shè)備的Credit得以釋放，從而得以繼續(xù)發(fā)送幀，從而減小或消除了透明傳送FC時(shí)產(chǎn)生的等待時(shí)間，提高了FC業(yè)務(wù)傳送的有效通量。因此，兩個(gè)FC-BB-3-GFPT器件的距離，也就是傳送網(wǎng)的傳送距離，被“隱藏”起來了。當(dāng)然，為配合FC-BB-3-GFPT器件跟FC設(shè)備之間的流量控制，兩個(gè)FC-BB-3-GFPT器件之間也采用了一種稱為ASFC（Alternate Simple Flow Control）流量控制協(xié)議�；贔C-BB-3-GFPT的長(zhǎng)距傳送方案可以將1G的FC信號(hào)傳送5000km，2G的FC信號(hào)傳送2500km，因此可以非�？斓貙�(shí)現(xiàn)跨國甚至跨洲的數(shù)據(jù)訪問、存儲(chǔ)。
兩個(gè)FC-BB-3-GFPT器件及中間的傳送網(wǎng)構(gòu)成了一個(gè)傳送FC的“橋梁”，橋梁一旦架成之后，就可以傳送FC業(yè)務(wù)了。這個(gè)橋梁在FC-BB-3標(biāo)準(zhǔn)中被稱為GFPT-WAN。橋梁的兩端，即FC-BB-3-GFPT器件，有自己的狀態(tài)機(jī)，并且狀態(tài)機(jī)的轉(zhuǎn)化與承載的FC沒有關(guān)系。
FC-BB-3-GFPT的狀態(tài)機(jī)一共有三個(gè)狀態(tài)：S1、S3和S2。其中，S1的狀態(tài)是最初始的狀態(tài)，當(dāng)設(shè)備上電時(shí)，或外部命令要求初始化時(shí)都可以轉(zhuǎn)到這個(gè)狀態(tài)。進(jìn)入S1后，F(xiàn)C-BB-3-GFPT器件確定傳送網(wǎng)絡(luò)是否正常，即GFPT-WAN有沒有缺陷。如沒有缺陷，則進(jìn)入S3狀態(tài)。進(jìn)入S3狀態(tài)后，一端的FC-BB-3-GFPT器件會(huì)向另一端的FC-BB-3-GFPT器件發(fā)送GFPT-WAN流量控制所用的原語信號(hào)PING及PING-ACK來確定GFPT-WAN是否配置了足夠的緩存資源。如GFPT-WAN配置的緩存資源足夠，則從狀態(tài)S3進(jìn)入S2，否則，從狀態(tài)S3返回S1。S2是FC-BB-3-GFPT器件的正常工作狀態(tài)，進(jìn)入S2狀態(tài)之后，兩端FC設(shè)備就可以通訊了。在S2狀態(tài)時(shí)，F(xiàn)C-BB-3-GFPT器件仍然周期性地發(fā)送PING及PING-ACK來檢查當(dāng)前GFPT-WAN配置的緩存資源是否夠用，如果不夠用，則從狀態(tài)S2轉(zhuǎn)入S1。另外，如果在狀態(tài)S2發(fā)現(xiàn)GFPT-WAN有時(shí)間長(zhǎng)于100毫秒的缺陷，也會(huì)轉(zhuǎn)入S1狀態(tài)。
圖5：LEM監(jiān)測(cè)雙方FC設(shè)備Login并在FC-BB-3-GFPT器件上設(shè)定相應(yīng)的Credit。
進(jìn)入S2狀態(tài)后，F(xiàn)C-BB-3-GFPT器件兩端的FC設(shè)備開始初始化鏈路，并向?qū)Ψ絃ogin以交換操作參數(shù)包括流量控制等信息。FC-BB-3-GFPT器件會(huì)對(duì)這種Login交換進(jìn)行監(jiān)測(cè)（LEM）。
FC-BB-3-GFPT所支持的FC設(shè)備間的Login從高到低有三個(gè)級(jí)別：ELP（E-Port到E-Port），F(xiàn)LOGI（N-Port到F-Port）和PLOGI（N-Port到N-Port）。在FC-BB-3-GFPT收到Login申請(qǐng)時(shí)打開LEM，在收到Login確認(rèn)（SW-ACC對(duì)應(yīng)ELP，LS-ACC對(duì)應(yīng)FLOGI和PLOGI）后關(guān)閉。LEM負(fù)責(zé)“截獲”Login中的Credit信息，并把FC-BB-3-GFPT的Credit設(shè)成遠(yuǎn)端FC設(shè)備的Credit。這樣，每一個(gè)FC設(shè)備跟相連的FC-BB-3-GFPT器件通訊時(shí)，就如同跟另一端的FC設(shè)備通訊一樣，只不過距離拉近了。
當(dāng)兩端的FC設(shè)備完成注冊(cè)，并且FC-BB-3-GFPT的LEM成功關(guān)閉之后，數(shù)據(jù)流就可以在兩個(gè)FC設(shè)備之間正常傳送了。當(dāng)一端FC設(shè)備由于數(shù)據(jù)擁塞而不能繼續(xù)接收來自FC-BB-3-GFPT器件的幀時(shí)，這個(gè)FC-BB-3-GFPT器件就向遠(yuǎn)端FC-BB-3-GFPT器件發(fā)出停止轉(zhuǎn)發(fā)FC幀和原語信號(hào)的請(qǐng)求。這個(gè)請(qǐng)求是通過發(fā)送GFPT-WAN專用的原語信號(hào)ASFC-PAUSE來實(shí)現(xiàn)的。當(dāng)本端FC設(shè)備可以繼續(xù)接收幀時(shí)，本端的FC-BB-3-GFPT器件就向遠(yuǎn)端FC-BB-3-GFPT器件發(fā)出另一種GFPT-WAN專用的原語信號(hào)ASFC-RESUME以表明可以繼續(xù)轉(zhuǎn)發(fā)FC幀和原語信號(hào)了。
FC數(shù)據(jù)在FC-BB-3-GFPT器件中適配和解適配運(yùn)用了ITU-T G.7041異步GFP-T封裝模式。在ITU-T G.7041中，雖然異步GFP-T和同步GFP-T封裝都是基于8B/10B編碼流的，但它們之間有著根本的不同。后者是兩個(gè)FC端口間全速、完全透明的傳送，只相當(dāng)于傳輸線的延長(zhǎng)。異步GFP-T允許FC業(yè)務(wù)向任意帶寬的GFPT-WAN上進(jìn)行適配，雖然一般在實(shí)際應(yīng)用中會(huì)給FC業(yè)務(wù)分配全速的帶寬。
FC業(yè)務(wù)通過FC-BB-3-GFPT實(shí)現(xiàn)了長(zhǎng)距離傳送，但目前無論是MAN還是WAN，GFP層都不是傳送網(wǎng)的最低層�，F(xiàn)在的城域SDH多業(yè)務(wù)平臺(tái)和城域或長(zhǎng)途W(wǎng)DM傳送平臺(tái)都在盡可能集成各種類型的數(shù)據(jù)或圖像業(yè)務(wù)，為了有效地利用帶寬，可以把FC-BB-3-GFPT通過虛級(jí)聯(lián)（VC）和鏈路容量調(diào)整方案（LCAS）映射到城域SDH傳送平臺(tái)，或者再繼續(xù)映射到OTN/WDM以便在城域或廣域WDM傳送平臺(tái)上傳送。
圖6：基于FC-BB-3-GFPT的傳送設(shè)備功能模塊的設(shè)計(jì)范例。
除了通過FC-BB-3-GFPT（基于SONET/SDH平臺(tái)）的辦法能夠?qū)崿F(xiàn)FC的長(zhǎng)距離傳送，F(xiàn)C還可以通過IP方式實(shí)現(xiàn)長(zhǎng)距離傳送，如FCIP和iFCP。但是，除了能夠支持Fabric到Fabric的互連及一點(diǎn)到多點(diǎn)的SAN業(yè)務(wù)路由等優(yōu)點(diǎn)之外，F(xiàn)C通過IP傳送的缺點(diǎn)是顯而易見的，如很大的傳送時(shí)延、較大的抖動(dòng)、不可預(yù)料的可靠性、不能提供小于50毫秒的保護(hù)和恢復(fù)、較差的配置和升級(jí)靈活性、較大的協(xié)議開銷、很難實(shí)現(xiàn)同步備份，還有高帶寬要求下的高成本。然而，這些缺點(diǎn)卻正是FC-BB-3-GFPT/SDH/SONET傳送平臺(tái)所擅長(zhǎng)的地方。
FC-BB-3-GFPT的傳送機(jī)制也在不斷地完善。下一代傳送機(jī)制，即FC-BB-4-GFPT已經(jīng)在醞釀之中了。FC-BB-4-GFPT將準(zhǔn)備在FC-BB-3-GFPT的基礎(chǔ)上進(jìn)一步使用壓縮技術(shù)來傳送FC數(shù)據(jù)流，這樣可以更加高效地利用帶寬。
參考文獻(xiàn)
1. McDATA White Paper，“Buffer-to-Buffer Credits and Their Effect on FICON Performance”，http://www.mcdata.com/downloads/mkt/wpaper/wp-buffer-to-buffer-941.pdf。
2. ANSI INCITS 414-2006, “Fibre Channel – Backbone - 3 （FC-BB-3）”, July 25,2006。
