中國(guó)移動(dòng)詳解：SDN網(wǎng)絡(luò)在大規(guī)模數(shù)據(jù)中心的實(shí)踐

關(guān)于未來(lái)網(wǎng)絡(luò)的規(guī)劃，中國(guó)移動(dòng)提出了NovoNet網(wǎng)絡(luò)架構(gòu)，NovoNet架構(gòu)包含了SDN和NFV等技術(shù)，提出采用新的運(yùn)營(yíng)模式并提供創(chuàng)新服務(wù)。在NovoNet架構(gòu)下，基于SDN技術(shù)的數(shù)據(jù)中心應(yīng)用，中國(guó)移動(dòng)將其命名為NovoDC，NovoDC是由中國(guó)移動(dòng)結(jié)合開源項(xiàng)目定制化研發(fā)構(gòu)成，本文主要圍繞以上幾個(gè)方面進(jìn)行詳細(xì)介紹。

NovoNet網(wǎng)絡(luò)架構(gòu)下的DC場(chǎng)景

在中國(guó)移動(dòng)提出NovoNet網(wǎng)絡(luò)架構(gòu)之前，谷歌已經(jīng)實(shí)現(xiàn)了使用SDN技術(shù)進(jìn)行流量調(diào)優(yōu)的商業(yè)案例。隨后的NFV也因?yàn)槠淇商摂M化網(wǎng)元的技術(shù)特點(diǎn)，被運(yùn)營(yíng)商視為網(wǎng)絡(luò)架構(gòu)轉(zhuǎn)型的利器。而中國(guó)移動(dòng)將兩種技術(shù)實(shí)現(xiàn)融合，構(gòu)成了之后提出的NovoNet網(wǎng)絡(luò)架構(gòu)。2015年，中國(guó)移動(dòng)正式發(fā)布了NovoNet2020愿景，中國(guó)移動(dòng)將構(gòu)建軟件化、虛擬化可編程的網(wǎng)絡(luò)架構(gòu)，打造靈活高效的網(wǎng)絡(luò)運(yùn)營(yíng)體系，希望通過引入NFV、SDN等新技術(shù)，使移動(dòng)網(wǎng)絡(luò)、IP承載網(wǎng)絡(luò)、傳送網(wǎng)絡(luò)、數(shù)據(jù)中心等領(lǐng)域?qū)崿F(xiàn)多種網(wǎng)絡(luò)實(shí)施和業(yè)務(wù)的虛擬化。

關(guān)于中國(guó)移動(dòng)NovoNet網(wǎng)絡(luò)架構(gòu)，它在數(shù)據(jù)中心這樣場(chǎng)景下的布局，也就是NovoDC。從時(shí)間軸上來(lái)看，從最開始中國(guó)移動(dòng)認(rèn)識(shí)SDN技術(shù)，是因?yàn)楣雀枥�用SDN的技術(shù)，提高了廣域網(wǎng)連接的利用率；在2012年的時(shí)候，中國(guó)移動(dòng)進(jìn)行了SDN的技術(shù)研究；2013年，中國(guó)移動(dòng)在NFV標(biāo)準(zhǔn)化組織中，又成立了運(yùn)營(yíng)商級(jí)別的SDN工作組，并建立了SDN數(shù)據(jù)中心架構(gòu)。

從2014年開始，中國(guó)移動(dòng)在數(shù)據(jù)中心SDN化上加大了自研投入。伴隨著很多開源組織的出現(xiàn)，中國(guó)移動(dòng)結(jié)合開源技術(shù)相應(yīng)做了一些自研產(chǎn)品，主要包括三方面，首先是數(shù)據(jù)中心的應(yīng)用層APP開發(fā)；其次，是數(shù)據(jù)中心網(wǎng)絡(luò)創(chuàng)建控制器的開發(fā)，這個(gè)控制器是基于AERO代碼；最后，中國(guó)移動(dòng)開發(fā)樂自研定制化的交換機(jī)。而在2015年《NovoNet白皮書》提出之后，中國(guó)移動(dòng)在國(guó)內(nèi)首次進(jìn)行了SDN系統(tǒng)方案的招標(biāo)測(cè)試，在中國(guó)移動(dòng)10086公有云里面引入了SDN技術(shù)，中國(guó)移動(dòng)基于SDN三種場(chǎng)景做了技術(shù)方案的分析。

進(jìn)入2016年，在2014年自研產(chǎn)品的基礎(chǔ)之上，結(jié)合2015年商用試點(diǎn)的現(xiàn)狀，中國(guó)移動(dòng)總結(jié)了目前SDN數(shù)據(jù)中心存在的一些問題。比如，平臺(tái)不夠開放，在轉(zhuǎn)發(fā)設(shè)備的整體架構(gòu)中，更多存在運(yùn)行綁定的方式，所以之后中國(guó)移動(dòng)開始把精力投入到了怎樣打開A廠家的控制器跟A廠家轉(zhuǎn)化設(shè)備，并提出了端到端解耦的解決方案，這個(gè)解決方案的核心就是控制器接口的標(biāo)準(zhǔn)化。

SDN數(shù)據(jù)中心的四層架構(gòu)三大場(chǎng)景

目前，基于SDN技術(shù)的數(shù)據(jù)中心采用經(jīng)典的四層架構(gòu)，這也是業(yè)界公認(rèn)的四層架構(gòu)，從上到下分別是應(yīng)用層（APP層，更多面向用戶）、云操作系統(tǒng)層、控制層（包括兩類，一類是網(wǎng)絡(luò)的控制層，也就是控制器，另外一類是增值服務(wù)網(wǎng)元的控制器VNFM）、轉(zhuǎn)發(fā)層（包括硬件的交換機(jī)、軟件交換機(jī)、SDN網(wǎng)關(guān)、還有增值業(yè)務(wù)網(wǎng)元及安全設(shè)備）。

基于四層的架構(gòu)，中國(guó)移動(dòng)希望在智能應(yīng)用的平臺(tái)上，無(wú)論是客戶還是中國(guó)移動(dòng)自己內(nèi)部的業(yè)務(wù)系統(tǒng)，都可以提供一個(gè)虛擬的VPC業(yè)務(wù)和業(yè)務(wù)鏈的功能。VPC的業(yè)務(wù)是一個(gè)多租戶的業(yè)務(wù)，租戶可以看到自己一張獨(dú)立的網(wǎng)，同時(shí)，這張網(wǎng)也是可拓展的網(wǎng)，中國(guó)移動(dòng)可以創(chuàng)建多個(gè)租戶，租戶和租戶之間，可以根據(jù)更多的需求進(jìn)行更多的打通。NovoDC的構(gòu)建正是實(shí)現(xiàn)了VPC/業(yè)務(wù)鏈的需求。

中國(guó)移動(dòng)在2015年結(jié)合自身需求，提出了SDN數(shù)據(jù)中心的三大場(chǎng)景，第一種場(chǎng)景是虛擬化的場(chǎng)景。因?yàn)橹袊?guó)移動(dòng)承載的業(yè)務(wù)是一些虛擬機(jī)，它們都是裝在虛擬化的平臺(tái)上，在這種網(wǎng)絡(luò)上采用虛擬交換機(jī)作為SDN轉(zhuǎn)發(fā)設(shè)備這個(gè)方案是最成熟的，因?yàn)樗�采用虛擬化形式，帶來(lái)了軟件的靈活性。不過缺點(diǎn)是由于虛擬交換機(jī)降低服務(wù)器的性能，所以虛擬交換機(jī)的損耗會(huì)損耗CPU。在這樣的背景下，中國(guó)移動(dòng)研究虛擬交換機(jī)在KVM開源的平臺(tái)下性能最好，如果采用的是商用虛擬化平臺(tái)，就需要采用一些特定的方式，會(huì)影響轉(zhuǎn)發(fā)的性能。

第二個(gè)場(chǎng)景是裸金屬服務(wù)器的場(chǎng)景。目前有很多=應(yīng)用，可能不接受虛擬機(jī)這種形式，更多是希望把這個(gè)應(yīng)用處在一臺(tái)物理服務(wù)器上，所以提出來(lái)裸金屬服務(wù)器的場(chǎng)景，它沒有虛擬交換機(jī)，中國(guó)移動(dòng)采用SDN硬件交換機(jī)，采用硬點(diǎn)交換機(jī)作為SDN轉(zhuǎn)發(fā)設(shè)備。中國(guó)移動(dòng)從2015年開始研究、測(cè)試裸金屬服務(wù)器，2016年開始規(guī)模商用，單這種形式它對(duì)硬件交換相應(yīng)的提出了要求，比如控制器與交換機(jī)有多種協(xié)議，相應(yīng)的占用硬件交換機(jī)的資源，實(shí)現(xiàn)的門檻比較高。

第三種場(chǎng)景，就是將第一種場(chǎng)景和第二種場(chǎng)景簡(jiǎn)單的結(jié)合，既有虛擬化服務(wù)器，又有裸金屬服務(wù)器。

大規(guī)模數(shù)據(jù)中心組網(wǎng)研究

中國(guó)移動(dòng)在2016年重點(diǎn)研究了大規(guī)模數(shù)據(jù)中心組網(wǎng)，隨著網(wǎng)絡(luò)數(shù)據(jù)量越來(lái)越大以及大數(shù)據(jù)業(yè)務(wù)的興起，更多的業(yè)務(wù)系統(tǒng)對(duì)中國(guó)移動(dòng)的數(shù)據(jù)中心提出能夠支持上萬(wàn)兆臺(tái)服務(wù)器的要求，同時(shí)需要虛擬化和裸金屬服務(wù)器混合場(chǎng)景，并且可劃分安全域、安全域間存在的增值業(yè)務(wù)網(wǎng)元。

對(duì)此，中國(guó)移動(dòng)提出兩種解決方案，第一，單一組網(wǎng)的Fabric結(jié)構(gòu)（基于Openstack）。該方案只有一套控制機(jī)構(gòu)，所以它控制的入口比較清晰，管理相對(duì)比較簡(jiǎn)單，但是也有一定的問題，畢竟Openstack管理的能力是有限的，所以就限制了組網(wǎng)服務(wù)器的規(guī)模。也讓計(jì)算節(jié)點(diǎn)普遍受限于Openstack的能力以及控制器的能力。第二，中國(guó)移動(dòng)推出了多Fabric結(jié)構(gòu)，中國(guó)移動(dòng)希望Fabric和Fabric之間可以規(guī)模的復(fù)制，一個(gè)Fabric擁有獨(dú)立的控制器Openstack，每個(gè)Fabric里面有一個(gè)控制器和Openstack，它解決了控制器跟OPS的瓶頸。在這樣一種場(chǎng)景下，中國(guó)移動(dòng)對(duì)云管理平臺(tái)需要很強(qiáng)的協(xié)同能力，而且Fabric跟Fabric之間組網(wǎng)相對(duì)比較復(fù)雜。中國(guó)移動(dòng)計(jì)劃2017年實(shí)際部署上萬(wàn)臺(tái)的萬(wàn)兆服務(wù)器資源池。

在技術(shù)研究的過程中，中國(guó)移動(dòng)為了貼合自己的需求做一些定制化的產(chǎn)品，同時(shí)推動(dòng)了整個(gè)產(chǎn)業(yè)界發(fā)展。目前，中國(guó)移動(dòng)自研產(chǎn)品主要是以下三款，應(yīng)用平臺(tái)（APP）、控制器以及硬件交換機(jī)，同時(shí)配合自研產(chǎn)品推出了北向?qū)�接APP的接口、控制器的南向?qū)��?yīng)轉(zhuǎn)發(fā)設(shè)備接口。

其中，應(yīng)用平臺(tái)跟Openstack提供的能力類似，但包含一些虛擬機(jī)、交換機(jī)、路由器，因?yàn)镺penstack是沒有業(yè)務(wù)鏈的，所以中國(guó)移動(dòng)借助APP實(shí)現(xiàn)業(yè)務(wù)鏈的功能。二引入自研控制器是為了解決Openstack的原生方案，進(jìn)一步把南向接口打開，解決廠商綁定問題。通過制定控制器的南向接口，中國(guó)移動(dòng)可以和不同的商業(yè)產(chǎn)品進(jìn)行對(duì)接，包括軟硬件的交換機(jī)以及網(wǎng)關(guān)產(chǎn)品，目前也已經(jīng)完成了很多的轉(zhuǎn)發(fā)設(shè)備跟控制器進(jìn)行對(duì)接試驗(yàn)。在控制器的研發(fā)方面，為了滿足逐漸規(guī)�；瘮�(shù)據(jù)中心需求，中國(guó)移動(dòng)重點(diǎn)對(duì)控制器的運(yùn)維可靠性以及集群方面進(jìn)行研究

第三款產(chǎn)品是定制化的交換機(jī)。中國(guó)移動(dòng)在這個(gè)基礎(chǔ)上，主要是結(jié)合自己的需要，定制了可視化的管理系統(tǒng)，因?yàn)橹袊?guó)移動(dòng)有裸金屬服務(wù)器的需求，所以說中國(guó)移動(dòng)在定制化交換機(jī)支持VXLAN，滿足裸金屬服務(wù)器的場(chǎng)景。

最后總結(jié)一下，中國(guó)移動(dòng)覺得SDN在數(shù)據(jù)中心的場(chǎng)景相對(duì)比較成熟，目前中國(guó)移動(dòng)研究的重點(diǎn)是在大規(guī)模數(shù)據(jù)中心的組網(wǎng)，既然采用大規(guī)模數(shù)據(jù)中心組網(wǎng)，能不能不再被單廠家綁定，接口打開，提出全解耦的方案，中國(guó)移動(dòng)覺得這是端到端的事情，需要產(chǎn)業(yè)界共同的合作推進(jìn)數(shù)據(jù)中心的開放。