多手段保證LTE承載網(wǎng)可靠性

1、可靠性概述

電信級(jí)運(yùn)營(yíng)網(wǎng)絡(luò)對(duì)可靠性需求可分為三個(gè)層面：設(shè)備可靠性、網(wǎng)絡(luò)可靠性和業(yè)務(wù)可靠性。在承載網(wǎng)中，網(wǎng)絡(luò)和設(shè)備的可用性要求達(dá)到99.999%（這相當(dāng)于設(shè)備在一年的連續(xù)運(yùn)行中，因各種可能原因造成停機(jī)維護(hù)的時(shí)間少于5分鐘），高可靠性是電信運(yùn)營(yíng)商網(wǎng)絡(luò)建設(shè)和網(wǎng)絡(luò)運(yùn)營(yíng)的基本要求。

在網(wǎng)絡(luò)架構(gòu)不斷演進(jìn)中可靠性的要求一直貫穿其中，可以說可靠性是網(wǎng)絡(luò)的必備特性�？煽啃员ＷC網(wǎng)絡(luò)發(fā)生故障時(shí)以最快的速度進(jìn)行保護(hù)倒換，使得運(yùn)營(yíng)商的損失降到最低。

LTE承載網(wǎng)定位于綜合承載，實(shí)現(xiàn)2G、3G、LTE移動(dòng)業(yè)務(wù)、固定業(yè)務(wù)的綜合接入，業(yè)務(wù)的多樣化使得網(wǎng)絡(luò)承載技術(shù)變得錯(cuò)綜復(fù)雜，對(duì)網(wǎng)絡(luò)的高可靠性要求成為必然。

如上圖所示，在LTE階段，承載網(wǎng)絡(luò)架構(gòu)發(fā)生了很大變化。由于EPC高置，即EPC只部署在省會(huì)或者大型城市，使得基站和EPC之間的承載網(wǎng)絡(luò)需要跨越回傳+Core兩層網(wǎng)絡(luò)。

LTE業(yè)務(wù)對(duì)時(shí)延要求更加嚴(yán)格，對(duì)于LTE承載網(wǎng)來說，無法控制無線側(cè)和核心網(wǎng)側(cè)的時(shí)延，只能控制承載網(wǎng)絡(luò)的時(shí)延，如何保證LTE業(yè)務(wù)時(shí)延滿足要求關(guān)系到LTE業(yè)務(wù)是否能夠正常運(yùn)營(yíng)，可靠性部署勢(shì)在必行。

如上圖所示，對(duì)于應(yīng)用層來說，TCP的滑動(dòng)窗口和其三次握手接收數(shù)據(jù)確認(rèn)機(jī)制，導(dǎo)致TCP 連接的吞吐量與端到端時(shí)延成反比。當(dāng)TCP傳輸路徑發(fā)生故障時(shí)，TCP啟用重傳機(jī)制，如果長(zhǎng)時(shí)間得不到倒換路徑，會(huì)導(dǎo)致連接中斷。

LTE時(shí)代數(shù)據(jù)業(yè)務(wù)激增，網(wǎng)絡(luò)設(shè)備提供的端口從GE到10GE、100GE不斷增加，當(dāng)數(shù)據(jù)速率到Gbit數(shù)量級(jí)時(shí)，長(zhǎng)時(shí)間不能切換代表著大量數(shù)據(jù)的丟失，對(duì)于語音、視頻等業(yè)務(wù)來說，這幾乎是致命的。

可靠性技術(shù)可以保證在最短時(shí)間內(nèi)切換到保護(hù)路徑，不會(huì)出現(xiàn)連接中斷的情況。這對(duì)于運(yùn)營(yíng)商來說，無疑是保證用戶體驗(yàn)的必然選擇。

可靠性技術(shù)可以分為快速檢測(cè)和保護(hù)倒換技術(shù)兩個(gè)方面來進(jìn)行部署，二者相輔相成共同為網(wǎng)絡(luò)高可靠性提供保證。

1.1快速檢測(cè)技術(shù)

網(wǎng)絡(luò)設(shè)備一個(gè)越來越重要的特征是，要求對(duì)相鄰系統(tǒng)之間通信故障進(jìn)行快速檢測(cè)，保證出現(xiàn)故障時(shí)可以更快的建立起替代通道或倒換到其他鏈路。

目前，一些硬件如SDH等可以提供這個(gè)功能，但是對(duì)于很多硬件或者軟件無法提供這個(gè)功能，比如以太網(wǎng)。還有一些無法實(shí)現(xiàn)路徑檢測(cè)，比如轉(zhuǎn)發(fā)引擎或者接口等，因此無法實(shí)現(xiàn)端到端的檢測(cè)。

目前的網(wǎng)絡(luò)一般采用慢Hello機(jī)制，尤其是路由協(xié)議在沒有硬件幫助下，檢測(cè)時(shí)間會(huì)很長(zhǎng)（例如：OSPF需要2秒的檢測(cè)時(shí)間，ISIS需要1秒的檢測(cè)時(shí)間）。這對(duì)某些應(yīng)用來說時(shí)間太長(zhǎng)了，當(dāng)數(shù)據(jù)速率到Gbit數(shù)量級(jí)時(shí)，缺陷感應(yīng)時(shí)間長(zhǎng)代表著大量數(shù)據(jù)的丟失，并且對(duì)于不運(yùn)行路由協(xié)議的節(jié)點(diǎn)沒有辦法檢測(cè)鏈路的狀態(tài)。同時(shí)，在現(xiàn)有的IP網(wǎng)絡(luò)中并不具備秒以下的間歇性故障修復(fù)功能，而傳統(tǒng)路由架構(gòu)在對(duì)實(shí)時(shí)應(yīng)用（如語音）進(jìn)行準(zhǔn)確故障檢測(cè)方面能力有限。

快速檢測(cè)技術(shù)的出現(xiàn)解決了上述問題，典型的快速檢測(cè)技術(shù)包括BFD、Eth OAM、MPLS OAM等。這些快速檢測(cè)技術(shù)通過相鄰設(shè)備間ms級(jí)進(jìn)行檢測(cè)報(bào)文的發(fā)送和接收，當(dāng)?shù)竭_(dá)配置的間隔收不到對(duì)端的報(bào)文時(shí)即上報(bào)故障，通知設(shè)備進(jìn)行相應(yīng)的協(xié)議倒換。

1.2保護(hù)倒換技術(shù)

網(wǎng)絡(luò)設(shè)備通過快速檢測(cè)技術(shù)檢測(cè)到故障后，配合保護(hù)倒換技術(shù)進(jìn)行相應(yīng)協(xié)議的倒換。保護(hù)倒換技術(shù)即在事先建立好備用通道供設(shè)備進(jìn)行倒換，針對(duì)不同的承載技術(shù)需要部署相應(yīng)的保護(hù)倒換技術(shù)。

針對(duì)LTE網(wǎng)絡(luò)，保護(hù)倒換技術(shù)按照業(yè)務(wù)部署可以分類為L(zhǎng)2VPN類、L3VPN類、網(wǎng)關(guān)類、鏈路類保護(hù)倒換技術(shù)。L2VPN類保護(hù)倒換技術(shù)主要是PW冗余，L3VPN類保護(hù)倒換技術(shù)主要是VPN FRR，網(wǎng)關(guān)類保護(hù)保護(hù)技術(shù)為E-VRRP，鏈路類保護(hù)倒換技術(shù)包括LDP FRR、混合FRR、TE FRR和TE HSB。

2、LTE承載網(wǎng)可靠性技術(shù)

下面的章節(jié)將針對(duì)中國(guó)電信和中國(guó)聯(lián)通在LTE承載網(wǎng)建設(shè)中涉及到的可靠性技術(shù)進(jìn)一步進(jìn)行詳細(xì)介紹。

2.1中國(guó)電信LTE承載網(wǎng)可靠性技術(shù)

中國(guó)電信在建設(shè)IPRAN網(wǎng)絡(luò)時(shí)，主流場(chǎng)景是依托于現(xiàn)有的城域網(wǎng)進(jìn)行建設(shè)，也存在端到端新建的IPRAN網(wǎng)絡(luò)。在演進(jìn)到LTE承載組網(wǎng)時(shí)，沒有EPC機(jī)房的地市需要向上跨過CN2到省會(huì)或者大區(qū)城市EPC機(jī)房進(jìn)行業(yè)務(wù)落地。

中國(guó)電信的LTE承載網(wǎng)架構(gòu)和承載方式如上圖所示，本地網(wǎng)仍然采用IPRAN的承載方式（即PW+L3VPN），只是非省會(huì)城市需要途徑CN2省干網(wǎng)絡(luò)到省會(huì)或者大區(qū)的EPC機(jī)房落地業(yè)務(wù)。

為了敘述方便，拓?fù)鋱D簡(jiǎn)化如下：

對(duì)于省會(huì)或者大區(qū)城市（EPC所在地），RAN ER直接上聯(lián)至EPC CE設(shè)備即可；對(duì)于非省會(huì)城市（沒有EPC），RAN ER設(shè)備需要和CN2的本地落地PE設(shè)備相連，由CN2調(diào)度到EPC CE設(shè)備然后到EPC進(jìn)行業(yè)務(wù)落地。

PW+L3VPN方案的設(shè)計(jì)理念為接入層通過一種技術(shù)PW實(shí)現(xiàn)所有業(yè)務(wù)的接入，降低接入層的維護(hù)復(fù)雜度，以及維護(hù)人員的技能要求，到達(dá)匯聚路由器后再進(jìn)入L3VPN轉(zhuǎn)發(fā)。

對(duì)于省會(huì)或者大區(qū)城市（EPC所在地），業(yè)務(wù)承載如下圖所示：

如上圖所示，接入層建立二層管道PW，匯聚路由器以上起L3VPN，通過內(nèi)部環(huán)回接口實(shí)現(xiàn)PW與L3VPN的橋接。通常一個(gè)接入環(huán)會(huì)雙掛兩臺(tái)匯聚路由器，匯聚路由器作為基站的三層網(wǎng)關(guān)，此時(shí)需要為兩臺(tái)匯聚路由器三層內(nèi)部環(huán)回接口設(shè)置相同的MAC和IP，實(shí)現(xiàn)雙網(wǎng)關(guān)保護(hù)。

PW+L3VPN同時(shí)采用二層PW及三層VPN技術(shù)，相應(yīng)的保護(hù)方案也是兩種技術(shù)保護(hù)方案的組合。

按照保護(hù)模式可以分為隧道保護(hù)、業(yè)務(wù)保護(hù)及網(wǎng)關(guān)保護(hù)三類：

1）隧道保護(hù)

用于網(wǎng)絡(luò)內(nèi)部鏈路及節(jié)點(diǎn)故障，特征是保護(hù)倒換前后業(yè)務(wù)源宿節(jié)點(diǎn)不變，相應(yīng)的保護(hù)技術(shù)為L(zhǎng)DP快速收斂、LSP 1:1、TE FRR，檢測(cè)技術(shù)為BFD for IGP/LSP。

2）業(yè)務(wù)保護(hù)

用于匯聚路由器、RAN ER以及EPC CE節(jié)點(diǎn)故障，特征是保護(hù)前后業(yè)務(wù)源宿節(jié)點(diǎn)（包括PW與L3VPN的橋接點(diǎn)）發(fā)生變化，相應(yīng)的保護(hù)技術(shù)為PW Redundancy和VPN FRR，檢測(cè)技術(shù)分別為BFD for PW和BFD for Tunnel。

3）網(wǎng)關(guān)保護(hù)

用于EPC CE及EPC與EPC CE之間的鏈路故障，相應(yīng)的保護(hù)技術(shù)為E-VRRP。

2.2中國(guó)聯(lián)通LTE承載網(wǎng)可靠性技術(shù)

中國(guó)聯(lián)通在建立IPRAN網(wǎng)絡(luò)時(shí)，主流場(chǎng)景是端到端新建的IPRAN網(wǎng)絡(luò)，也存在依托于現(xiàn)有的城域網(wǎng)進(jìn)行建設(shè)。

中國(guó)聯(lián)通的LTE承載網(wǎng)架構(gòu)和承載方式如下圖所示，本地網(wǎng)仍然采用IPRAN的承載方式（即HVPN），只是非省會(huì)城市需要途徑聯(lián)通B網(wǎng)省干到省會(huì)或者大區(qū)的EPC機(jī)房落地業(yè)務(wù)。

為了敘述方便，拓?fù)鋱D簡(jiǎn)化如下：

HVPN（Hierarchy VPN）在傳統(tǒng)端到端L3VPN的基礎(chǔ)上進(jìn)行了適當(dāng)優(yōu)化，通過引入一層“輕量級(jí)RR”來緩解核心側(cè)設(shè)備壓力，解決組建大網(wǎng)的問題。具體方案為：

將匯聚路由器設(shè)為“第二級(jí)RR”，接入路由器與匯聚路由器建立BGP會(huì)話，由于匯聚路由器下掛接入路由器數(shù)量有限，因此匯聚路由器上BGP會(huì)話壓力不大；匯聚路由器與城域骨干RR建立BGP會(huì)話，相比接入路由器，整網(wǎng)的匯聚路由器數(shù)量大大降低，相應(yīng)的RR的BGP會(huì)話壓力也大大降低。匯聚路由器收到接入路由器發(fā)布的VPNv4路由后，將下一跳修改為自己之后再發(fā)布給RR，之后再由RR反射給EPC CE，因此EPC CE有整網(wǎng)明細(xì)路由；匯聚路由器收到的VPNv4路由均不向接入路由器發(fā)布，僅向接入路由器發(fā)布一條缺省路由，用于引導(dǎo)上行流量，由此，接入路由器僅需維護(hù)極少的VPN路由，路由壓力較大的問題得以徹底解決。由于VPN采用分層的方式，相應(yīng)的用于承載VPN的隧道也需要采用分層的方式，接入路由器與匯聚路由器之間為一段隧道，匯聚路由器與EPC CE設(shè)備之間為另一段隧道，EPC CE的隧道數(shù)量較多的問題也不復(fù)存在。

　　通過上述方案，HVPN解決了傳統(tǒng)端到端L3VPN的擴(kuò)展性問題，保證了低端設(shè)備與高端設(shè)備共同組大網(wǎng)的能力。

對(duì)于省會(huì)或者大區(qū)城市（EPC所在地），核心層設(shè)備直接上聯(lián)至EPC CE設(shè)備即可；對(duì)于非省會(huì)城市（沒有EPC），核心層設(shè)備需要和B網(wǎng)的本地落地PE設(shè)備相連，由B網(wǎng)調(diào)度到EPC CE設(shè)備然后到EPC進(jìn)行業(yè)務(wù)落地。

對(duì)于省會(huì)或者大區(qū)城市（EPC所在地），業(yè)務(wù)承載如下圖所示：

L3VPN到邊緣的業(yè)務(wù)保護(hù)方案非常完備，可以分為隧道保護(hù)、業(yè)務(wù)保護(hù)及網(wǎng)關(guān)保護(hù)三種模式，隧道保護(hù)用于網(wǎng)絡(luò)內(nèi)部鏈路及節(jié)點(diǎn)故障，特征是保護(hù)倒換前后業(yè)務(wù)源宿節(jié)點(diǎn)不變，相應(yīng)的保護(hù)技術(shù)為L(zhǎng)SP 1:1，檢測(cè)技術(shù)為BFD for LSP；業(yè)務(wù)保護(hù)用于匯聚路由器及EPC CE節(jié)點(diǎn)故障，特征是保護(hù)前后業(yè)務(wù)源宿節(jié)點(diǎn)（包括兩段L3VPN的銜接點(diǎn)）發(fā)生變化，相應(yīng)的保護(hù)技術(shù)為VPN FRR，檢測(cè)技術(shù)為BFD for Tunnel；網(wǎng)關(guān)保護(hù)用于EPC CE及EPC與EPC CE之間的鏈路故障，相應(yīng)的保護(hù)技術(shù)為E-VRRP。

2.3快速檢測(cè)技術(shù)

雙向轉(zhuǎn)發(fā)檢測(cè)BFD（Bidirectional Forwarding Detection）用于快速檢測(cè)系統(tǒng)之間的通信故障，并在出現(xiàn)故障時(shí)通知上層應(yīng)用。

BFD for PW是一種對(duì)PW進(jìn)行故障檢測(cè)的機(jī)制，用于觸發(fā)所承載業(yè)務(wù)的快速切換，達(dá)到業(yè)務(wù)保護(hù)的目的。利用BFD完成隧道或PW故障的快速檢測(cè)，從而引導(dǎo)所承載業(yè)務(wù)的快速切換，達(dá)到業(yè)務(wù)保護(hù)的目的。

BFD For TE是MPLS TE中的一種端到端的快速檢測(cè)機(jī)制，用于快速檢測(cè)隧道所經(jīng)過的路徑（包括鏈路和節(jié)點(diǎn)）中所發(fā)生的故障。

TE傳統(tǒng)的檢測(cè)機(jī)制包括RSVP Hello或者RSVP刷新超時(shí)等檢測(cè)，都具有檢測(cè)速度緩慢的缺點(diǎn)。BFD檢測(cè)機(jī)制很好的克服了這些缺點(diǎn)，它采用快速收發(fā)報(bào)文的機(jī)制，完成這些隧道路徑故障的快速檢測(cè)，從而觸發(fā)承載業(yè)務(wù)的快速切換，達(dá)到保護(hù)業(yè)務(wù)的目的。

在LSP隧道上建立BFD會(huì)話，利用BFD檢測(cè)機(jī)制快速檢測(cè)LSP隧道的故障，可以提供端到端的保護(hù)。BFD可以用來檢測(cè)MPLS LSP轉(zhuǎn)發(fā)路徑上數(shù)據(jù)平面的故障。使用BFD檢測(cè)單向LSP路徑時(shí)，反向鏈路可以是IP鏈路、LSP。

3、總結(jié)

為了建設(shè)一張高可靠性的LTE網(wǎng)絡(luò)，華為公司針對(duì)各種業(yè)務(wù)提供了端到端的可靠性保護(hù)方案，保證業(yè)務(wù)順暢，同時(shí)在故障發(fā)生后能以最快的速度進(jìn)行保護(hù)倒換，把運(yùn)營(yíng)商損失降到最低。

在快速檢測(cè)方面，華為公司較早實(shí)現(xiàn)的BFD for everything，可以針對(duì)端口、鏈路、LSP、TE-LSP、VPN、PWE3等等進(jìn)行快速檢測(cè)，保證在故障發(fā)生的第一時(shí)間通知相關(guān)模塊進(jìn)行快速倒換。

在故障倒換方面，華為公司配合快速檢測(cè)，推出了針對(duì)LTE場(chǎng)景的各種保護(hù)技術(shù)，如PW冗余、VPN FRR、混合FRR、TE HSB、VRRP等，已經(jīng)在現(xiàn)網(wǎng)中廣泛應(yīng)用，為運(yùn)營(yíng)商的無線和有線業(yè)務(wù)保駕護(hù)航。

作者：華為中國(guó)區(qū)網(wǎng)絡(luò)解決方案部營(yíng)銷經(jīng)理 龐銀卓