banner.jpg)
說到容災(zāi)系統(tǒng)，相信大家都不陌生，但容災(zāi)的具體定義卻眾說紛紜。這里并不想給容災(zāi)下定義，本文提及的容災(zāi)主要是指如何在災(zāi)難發(fā)生時盡快恢復(fù)業(yè)務(wù)數(shù)據(jù)，也可以說是數(shù)據(jù)容災(zāi)。至于MAN/WAN的容災(zāi)，不在討論范圍中。
傳統(tǒng)容災(zāi)系統(tǒng)的實現(xiàn)
傳統(tǒng)數(shù)據(jù)容災(zāi)系統(tǒng)有兩種典型的實現(xiàn)方式：一種是基于磁盤陣列的容災(zāi)實現(xiàn)，比如IBM PPRC、EMC SRDF、HDS Truecopy等；另一種是基于主機的容災(zāi)實現(xiàn)，例如Veritas VVR等。
對于具體的容災(zāi)解決方案，可以有同步容災(zāi)和異步容災(zāi)。同步容災(zāi)具有更高的數(shù)據(jù)一致性，發(fā)生災(zāi)難時數(shù)據(jù)損失量最少，但代價最高，并且對中間的網(wǎng)絡(luò)鏈路和容災(zāi)節(jié)點的設(shè)備配置有很高的要求，一般只能在幾十公里的范圍內(nèi)實現(xiàn)。相對而言，異步容災(zāi)實現(xiàn)方便，可以承受的物理距離比較遠，甚至可以達到上千公里的容災(zāi)，但數(shù)據(jù)的損失會比較大。當然，對大多數(shù)的電信行業(yè)、銀行等關(guān)鍵業(yè)務(wù)系統(tǒng)，一般都采用同步容災(zāi)。
SAN是傳統(tǒng)容災(zāi)基礎(chǔ)平臺
典型的容災(zāi)系統(tǒng)都是基于SAN（存儲區(qū)域網(wǎng)絡(luò)）實現(xiàn)的，SAN已成為容災(zāi)體系的基礎(chǔ)平臺。特別是在中國的電信行業(yè)，基于SAN的容災(zāi)已經(jīng)獲得大面積應(yīng)用和推廣。SAN在滿足容災(zāi)系統(tǒng)的基本要求方面具有如下的優(yōu)勢。
SAN的遠距離連接能力
傳統(tǒng)的存儲與服務(wù)器通常是一個連體嬰兒，存儲往往是服務(wù)器的一個附屬品。但近年來隨著數(shù)據(jù)量的爆炸性增長，數(shù)據(jù)重要性的日益增加，存儲慢慢從服務(wù)器內(nèi)部解放出來，實現(xiàn)了存儲和服務(wù)器通過通道模式，比如SCSI、SSA等的直連，這稱為直接訪問存儲（DAS）。DAS的連接距離有很大限制，比如傳統(tǒng)的SCSI，最大連接距離只有25m（理論值，實際連接距離更小）。因此，如何擺脫連接距離的限制成為存儲技術(shù)發(fā)展的重要一環(huán)。SAN技術(shù)應(yīng)運而生。
SAN技術(shù)可以通過單模光纖實現(xiàn)最遠10km的連接，如果配合SAN交換機技術(shù)（如Brocade 交換機上的Extended Fabric軟件）和DWDM/CWDM等技術(shù)的使用，存儲的連接距離可以擴展到上百公里，為城域數(shù)據(jù)的容災(zāi)提供了可靠的保障。
SAN的高容錯機制和高可用性
SAN是專門為大型的高可靠性存儲而設(shè)計的網(wǎng)絡(luò)平臺，因此，從誕生的第一天起就具有容錯能力和高可用性。SAN交換機考慮了容錯能力，比如SAN交換機本身的電源、風扇甚至控制卡的冗余設(shè)計；SAN網(wǎng)絡(luò)的設(shè)計也基于冗余的基本思想，比如彈性Fabric設(shè)計、雙Fabric的SAN網(wǎng)絡(luò)設(shè)計等。這些都將保障數(shù)據(jù)訪問路徑的可靠性。
當然，為了配合多路徑訪問的需求，主機上也需要相應(yīng)的模塊配合，比如Veritas DMP、IBM SDD、EMC Powerpath、HDS HDLM等軟件，都是用來支持雙Fabric的SAN網(wǎng)絡(luò)設(shè)計的，可以用來配合主機對存儲的識別，實現(xiàn)從主機I/O接口卡即HBA到存儲陣列安全、可靠的訪問。
傳統(tǒng)容災(zāi)系統(tǒng)存在的問題
SAN網(wǎng)絡(luò)融合的挑戰(zhàn)
傳統(tǒng)的基于SAN的容災(zāi)系統(tǒng)，由于存在生產(chǎn)節(jié)點和容災(zāi)節(jié)點的存儲網(wǎng)絡(luò)可能不是同時建立、涉及的SAN網(wǎng)絡(luò)產(chǎn)品可能來自于不同的廠家、生產(chǎn)節(jié)點和容災(zāi)備份節(jié)點之間的距離可能比較遠等因素，因此，在遠距離容災(zāi)SAN網(wǎng)絡(luò)的搭建上存在難度。
SAN網(wǎng)絡(luò)的融合并不是拿一根光纖將兩個交換機連接起來那么簡單，需要考慮到很多環(huán)節(jié)。如果生產(chǎn)節(jié)點和備份節(jié)點的交換設(shè)備來自于不同廠家，當它們需要融合為一個網(wǎng)絡(luò)時，這個單一的SAN網(wǎng)絡(luò)到底應(yīng)該由哪個廠商來支持，將成為一個現(xiàn)實難點。如果兩邊網(wǎng)絡(luò)具有的某些參數(shù)需要調(diào)整的話，在技術(shù)上的難點也不容忽視。就目前已經(jīng)被各大OEM廣泛采用的Brocade交換機來看，盡管集成Brocade交換機的不同廠家的產(chǎn)品在互聯(lián)上是沒有問題的，但會面臨某些參數(shù)需要調(diào)整的情況，比如，為了維持不同版本的兼容性，Core PID format或Domain ID參數(shù)可能需要調(diào)整，這就意味著交換機的端口地址發(fā)生變更。對于Windows機器來說，交換機端口地址的變更不會對其產(chǎn)生影響，但對于UNIX操作系統(tǒng)來說，通常是通過交換機端口地址的綁定來增加安全性和可靠性的，如果交換機端口地址發(fā)生變更，必將重新生成磁盤的設(shè)備文件等，這不僅需要各廠家的配合，也增加了融合的時間和風險。
整體SAN網(wǎng)絡(luò)穩(wěn)定性的挑戰(zhàn)
建設(shè)容災(zāi)SAN網(wǎng)絡(luò)必須考慮的另外一個重要問題是，中間鏈路的可靠性和穩(wěn)定性。幾十公里甚至上百公里的鏈路穩(wěn)定性會直接影響整個容災(zāi)系統(tǒng)的穩(wěn)定性。由于傳統(tǒng)的SAN網(wǎng)絡(luò)中沒有路由的概念，因此無論中間的鏈路有多長，連接起來后都將形成單一的Fabric，而每一個Fabric中只能有一個主交換機（Principal Switch），負責整個Fabric的事件協(xié)調(diào)和沖突檢測。如果中間鏈路發(fā)生短暫的中斷，整個網(wǎng)絡(luò)就自動分裂成兩個獨立的Fabric，就會發(fā)生主交換機的重新選擇，并且出現(xiàn)Fabric的重新配置（Fabric Reconfiguration），而這將造成生產(chǎn)節(jié)點和容災(zāi)節(jié)點的業(yè)務(wù)數(shù)據(jù)流停頓或中斷，這是很多用戶不能接受的。但缺乏路由的傳統(tǒng)SAN網(wǎng)絡(luò)就是這樣的特性，SAN標準中也是這樣定義的。
隨著SAN網(wǎng)絡(luò)的變大，網(wǎng)絡(luò)中的廣播信息如寄存器狀態(tài)變更通知（RSCN）等也會影響網(wǎng)絡(luò)的穩(wěn)定性。在任何SAN網(wǎng)絡(luò)中，根據(jù)發(fā)生事件的不同，F(xiàn)abric控制器都會根據(jù)需要發(fā)送RSCN通知，從而保障Fabric中的所有設(shè)備了解最新的變更。由于有些設(shè)備對RSCN非常敏感，可能會發(fā)生服務(wù)中斷，因此，所有SAN交換機都試圖將RSCN控制在最小的范圍內(nèi)。但是某些RSCN必須發(fā)送到整個Fabric，這就意味著Fabric越大，風險越大。同時，SAN交換機直接連接距離越遠，風險也越難控制。
容災(zāi)成本的挑戰(zhàn)
由于傳統(tǒng)的基于光纖的容災(zāi)鏈路（DWDM/CWDM/SDH/裸光纖等）價格昂貴，同時，容災(zāi)涉及的連接設(shè)備/技術(shù)的價格也居高不下，因此，造成了容災(zāi)只適用于大型用戶，中小型企業(yè)只能望而卻步，變“需要容災(zāi)”為“躲避容災(zāi)”。這大大限制了容災(zāi)技術(shù)的推廣和向更廣泛領(lǐng)域的發(fā)展。
現(xiàn)代容災(zāi)體系設(shè)計新突破
現(xiàn)代容災(zāi)系統(tǒng)不僅在技術(shù)上有了很大發(fā)展，同時在成本上也越來越走向平民化。這使得中小企業(yè)可以建設(shè)自己的容災(zāi)網(wǎng)，或通過將來的城域容災(zāi)中心實現(xiàn)數(shù)據(jù)容災(zāi)。
SAN路由技術(shù)成為容災(zāi)體系核心組件
光纖通道SAN Fabric間路由技術(shù)（以下簡稱SAN路由技術(shù)）是SAN技術(shù)發(fā)展的一個巨大突破，填補了傳統(tǒng)SAN技術(shù)在擴展和遠距離延伸方面的空白，使傳統(tǒng)SAN容災(zāi)網(wǎng)絡(luò)面臨的挑戰(zhàn)迎刃而解。SAN路由技術(shù)把生產(chǎn)SAN網(wǎng)絡(luò)和容災(zāi)SAN網(wǎng)絡(luò)連接起來，同時又能使每個Fabric保持相互的獨立性，直接避開了SAN Fabric融合帶來的所有風險和障礙。隨著SAN路由產(chǎn)品推向市場，SAN路由技術(shù)已經(jīng)成為容災(zāi)系統(tǒng)的核心組件。典型的現(xiàn)代容災(zāi)體系架構(gòu)如圖1所示。
SAN路由技術(shù)給容災(zāi)系統(tǒng)帶來了如下好處：（1）光纖通道到光纖通道的SAN路由技術(shù)實現(xiàn)了SAN Fabric間的無縫連接。在連接不同的Fabric交換機時不要求對現(xiàn)有的參數(shù)做任何修改，避免了更改參數(shù)帶來的風險。同時路由器的接入不會對正在執(zhí)行的I/O造成任何影響，簡化了容災(zāi)SAN網(wǎng)絡(luò)的建設(shè)。（2）SAN路由器在保持不同F(xiàn)abric相互獨立性的同時，實現(xiàn)了Fabric間的某些資源選擇性共享，提高了生產(chǎn)節(jié)點和備份節(jié)點資源共享的可管理性，提高了容災(zāi)SAN網(wǎng)絡(luò)的可靠性和穩(wěn)定性。（3）SAN路由技術(shù)突破了239臺光纖通道交換機/Fabric的限度，使得大規(guī)模SAN網(wǎng)絡(luò)成為可能。（4）SAN路由技術(shù)極大降低了對不同廠商的SAN Fabric服務(wù)提供支持的難度。
FCIP技術(shù)使容災(zāi)平民化
隨著寬帶網(wǎng)絡(luò)的普及，如何利用寬帶網(wǎng)絡(luò)來實現(xiàn)SAN網(wǎng)絡(luò)的遠距離互聯(lián)成為一個熱門話題。FCIP（基于IP的光纖通道）隧道服務(wù)技術(shù)由此產(chǎn)生。FCIP剛開始被用來實現(xiàn)廣域的SAN網(wǎng)絡(luò)連接，比如上千公里的容災(zāi)系統(tǒng)的建造，但隨著它投資小、實施便捷等優(yōu)點逐漸為大家所認識，又成了中小企業(yè)實現(xiàn)城域容災(zāi)的最佳選擇。FCIP可以利用IP寬帶網(wǎng)絡(luò)，延伸光纖通道SAN的距離，實現(xiàn)容災(zāi)SAN網(wǎng)絡(luò)的互聯(lián)。
圖2是典型的基于FCIP的多點容災(zāi)架構(gòu)。網(wǎng)絡(luò)使用的Brocade FCIP隧道服務(wù)具有兩個的特點：一是與交換機完全集成。與需要外部網(wǎng)關(guān)的鏈路相比，部署和管理集成到交換機中的FCIP鏈路更容易、更經(jīng)濟，而且機架占用空間更小。二是SAN路由器可以實現(xiàn)SAN路由與FCIP的集成。一個端口既是進入骨干Fabric的E_Port，又是一個FCIP端口，這可以防止WAN鏈路上的故障影響整個Meta SAN的事故。這點很重要，因為跟光纖通道網(wǎng)絡(luò)相比，IP網(wǎng)絡(luò)和WAN的可靠性一般更低一些，不穩(wěn)定的WAN鏈路可能會干擾骨干Fabric，因此，如果將這些干擾與所有邊緣Fabric隔離開，那么，除了實際穿越不穩(wěn)定WAN的那些主機／存儲設(shè)備“對話”之外，沒有別的主 機／存儲設(shè)備“對話”會受到影響。
FCIP和SAN路由技術(shù)的結(jié)合，最適合于校園網(wǎng)和擁有完整帶寬的中小企業(yè)，可以提供其穩(wěn)定可靠、價格低廉的容災(zāi)平臺。因此，該技術(shù)已經(jīng)逐漸成為容災(zāi)平民化的重要推動力。
城域容災(zāi)中心推動容災(zāi)技術(shù)的普及
FCIP隧道服務(wù)的引入，雖然大大降低了容災(zāi)成本，但管理的復(fù)雜性、系統(tǒng)設(shè)計和遠距離容災(zāi)節(jié)點建立的成本等因素，仍然讓很多用戶無法享用容災(zāi)的好處。因此，國內(nèi)外的一些政府機構(gòu)或電信企業(yè)都在考慮建立城域容災(zāi)中心來普及容災(zāi)技術(shù)。在進行城域容災(zāi)中心設(shè)計時，必須考慮各個數(shù)據(jù)中心的現(xiàn)狀，采用各種接入技術(shù)。具體如圖3所示。
SAN接入技術(shù)
對于需要實現(xiàn)同步容災(zāi)的系統(tǒng)，如社保、醫(yī)保系統(tǒng)或一些中小型企業(yè)的關(guān)鍵業(yè)務(wù)數(shù)據(jù)，必須保證主中心的數(shù)據(jù)和容災(zāi)中心的數(shù)據(jù)同步，從而確保一旦主中心的數(shù)據(jù)系統(tǒng)發(fā)生故障，容災(zāi)中心能夠確保數(shù)據(jù)的完整性。另外，對于需要大容量備份的系統(tǒng)，依然可以通過SAN網(wǎng)絡(luò)來確保備份的高效和穩(wěn)定。為此，建議采用如下的3種接入技術(shù)：（1）DWDM/暗 Fibre接入。通過高速的DWDM/暗 Fibre直接接入容災(zāi)中心的SAN網(wǎng)絡(luò)，可以滿足客戶數(shù)據(jù)和容災(zāi)中心數(shù)據(jù)完全同步的需求，確保數(shù)據(jù)的一致性和災(zāi)難發(fā)生后的快速恢復(fù)。（2）SAN IP接入（FCIP）。如果用戶的IT中心已經(jīng)擁有SAN架構(gòu)，但不能提供DWDM/暗Fibre等的高速接入界面，也可以通過已搭建的快速以太網(wǎng)接入容災(zāi)中心，從而充分利用現(xiàn)有資源，確保系統(tǒng)的可靠性。（3）SAN iSCSI（基于IP傳輸?shù)腟CSI）接入。如果用戶IT中心沒有SAN架構(gòu)，或者僅能提供iSCSI等接入界面，則可使用iSCSI接入技術(shù)，確保低成本，同時又可享受SAN網(wǎng)絡(luò)的好處。
城域IP接入
對于沒有建立SAN網(wǎng)絡(luò)的用戶，建議暫時采用遠程WAN連接到容災(zāi)中心。一旦有進一步的需求，需要升級到SAN連接，只要客戶提出申請，由城域容災(zāi)中心將客戶的連接轉(zhuǎn)移到FC路由器就可以輕松享受SAN的IP互聯(lián)。當然，如果客戶需要轉(zhuǎn)移到高速的SAN連接，必須向電信公司申請或自己鋪設(shè)DWDM/暗 Fibre連接線路，然后由城域容災(zāi)中心將客戶的連接轉(zhuǎn)換到高速SAN網(wǎng)絡(luò)。具體的接入方式可以是ISDN、ADSL、DDN、Gigabit Ethernet、ATM或FR等，這些接入方式可以一起稱做城域IP接入。
各種接入方式的對比
表1對上面提及的4種接入方式進行了對比。不同的接入方式、不同的帶寬能力，將決定采用的容災(zāi)方式和容災(zāi)能力，應(yīng)該根據(jù)實際情況和投入能力來決定最終與容災(zāi)中心的連接方式，不能一概而論。當然，從容災(zāi)中心的建設(shè)角度來講，這些接入模型已經(jīng)可以滿足各種終端用戶的需求，可按需進行適應(yīng)和調(diào)配。
容災(zāi)在電信業(yè)的應(yīng)用
對于電信企業(yè)來說，數(shù)據(jù)容災(zāi)已經(jīng)隨著企業(yè)信息化進程而融入了電信企業(yè)運營的血液中。假如發(fā)生了數(shù)據(jù)的丟失，特別是計費數(shù)據(jù)和CRM數(shù)據(jù)等，損失將是慘重的。實際上，中國的某些電信運營商曾經(jīng)為數(shù)據(jù)丟失而痛心疾首過。但是，由于技術(shù)和成本等方面的制約，電信的某些業(yè)務(wù)或某些企業(yè)以前一直在容災(zāi)門前徘徊。隨著容災(zāi)技術(shù)的進步，特別是SAN路由技術(shù)的推出、FCIP與路由技術(shù)的完美聯(lián)姻，容災(zāi)已經(jīng)不再遙不可及，國內(nèi)的很多電信企業(yè)已經(jīng)紛紛著手打造全面的容災(zāi)系統(tǒng)。
圖4是聯(lián)通某分公司的容災(zāi)架構(gòu)，是電信企業(yè)典型的容災(zāi)體系。該容災(zāi)體系的建立可為電信企業(yè)帶來了如下的好處：（1）通過DWDM/暗光纖建立快速的容災(zāi)網(wǎng)絡(luò)，實現(xiàn)生產(chǎn)中心和容災(zāi)中心數(shù)據(jù)的實時同步，保障了災(zāi)難發(fā)生時數(shù)據(jù)的完整性；（2）引入了SAN路由技術(shù)，實現(xiàn)了生產(chǎn)中心和容災(zāi)中心邏輯上的隔離，同時部分設(shè)備的共享大大提高了容災(zāi)系統(tǒng)的穩(wěn)定性和可靠性；（3）通過SAN廣域連接技術(shù)，輕松實現(xiàn)跨地域容災(zāi)，保障了容災(zāi)系統(tǒng)對災(zāi)難抵御的完整性；（4）對某些可靠性要求相對較低的數(shù)據(jù)，可以采用FCIP和SAN路由的結(jié)合來作為傳輸鏈路，這大大降低了總體的容災(zāi)成本，也符合大家倡導(dǎo)的信息生命周期（ILM）的思想；（5）通過SAN路由技術(shù)的引入，大大擴展了SAN的擴展能力，為將來全國容災(zāi)的整合打下了良好的基礎(chǔ)，同時保障了現(xiàn)有投資的有效性。
容災(zāi)技術(shù)的未來
目前的容災(zāi)系統(tǒng)大多基于磁盤陣列而實現(xiàn)。近兩年被業(yè)界炒得沸沸揚揚的是存儲應(yīng)用的網(wǎng)絡(luò)化概念。大家希望通過存儲應(yīng)用的網(wǎng)絡(luò)化來降低存儲本身的壓力，充分發(fā)揮存儲網(wǎng)絡(luò)的能力，這是一個發(fā)展趨勢。當然，將存儲應(yīng)用（比如數(shù)據(jù)復(fù)制/鏡像應(yīng)用）遷移到存儲網(wǎng)絡(luò)上來，還可以大大減少不同廠商之間存儲的互操作性，讓用戶有更多的選擇余地。很多公司正在朝這方面進行努力，如Brocade公司已經(jīng)開發(fā)了FAP 7420存儲應(yīng)用平臺等，但這些產(chǎn)品離真正商用，還需要時日。
到目前為止，城域容災(zāi)中心還只是一個理想模型，要建立真正的城域容災(zāi)中心，需要整個社會的參與和相應(yīng)法律條款的支持，沒有這些基本的保障，城域容災(zāi)中心將無法生存。因此，現(xiàn)在對容災(zāi)立法的呼聲越來越高。許多國家在這方面已經(jīng)先行一步，比如：韓國政府規(guī)定，銀行、電信、證券、保險等行業(yè)必須在災(zāi)難發(fā)生后3小時內(nèi)恢復(fù)商務(wù)功能；英國政府從2003年開始籌備具體的立法細則，約束關(guān)鍵業(yè)務(wù)部門建立良好的容災(zāi)體系。在此推動下，我國某些地方政府也開始探討容災(zāi)的實施方式，這些都為建立大型的容災(zāi)中心來提供對外服務(wù)起到推波助瀾的作用，也為電信企業(yè)實施容災(zāi)找到了更多支持。只有城域容災(zāi)中心的建立，才意味著城域容災(zāi)技術(shù)的真正普及。
----《現(xiàn)代通信》
作者：張振倫 博科通訊系統(tǒng)有限公司
