云化能力提升：廣東聯(lián)通OCS系統(tǒng)CF刀片化工程介紹

2011年廣東聯(lián)通OCS系統(tǒng)完成了PROXY刀片化的工程，PROXY對業(yè)務(wù)增長具有快速擴(kuò)展性，但CF域不滿足這個要求，況且PROXY是在號段基礎(chǔ)上對CF進(jìn)行業(yè)務(wù)負(fù)載的，暫時不具備會話級負(fù)載均衡功能。隨著OCS系統(tǒng)支撐業(yè)務(wù)的快速發(fā)展，CF側(cè)支撐能力越來越成為制約系統(tǒng)支撐能力的一個瓶頸，以集中式中小型服務(wù)器部署的方式擴(kuò)展效率低、風(fēng)險高，不能快速滿足當(dāng)前市場發(fā)展需求，在IT界云化技術(shù)發(fā)展影響下，推動CF刀片化技術(shù)改造，自然成為系統(tǒng)未來發(fā)展的合適之路。

這次工程范圍涉及到系統(tǒng)的方方面面，不單有新業(yè)務(wù)均衡核心模塊的研發(fā)，還有系統(tǒng)的軟硬件重新部署調(diào)整和內(nèi)部數(shù)據(jù)的割接工程。

（OCS系統(tǒng)子系統(tǒng)集成圖）

工程主要涉及系統(tǒng)建設(shè)升級的有“ ”部分范圍所述，分為：

■ 擴(kuò)容4個ABM庫工程，內(nèi)部生產(chǎn)數(shù)據(jù)割接遷移。

■ 設(shè)備采購，PC機設(shè)備準(zhǔn)備、安裝、應(yīng)用，相關(guān)網(wǎng)絡(luò)架設(shè)施工。

■ CMP會話負(fù)載均衡軟件的開發(fā)、測試、部署、調(diào)試應(yīng)用等研發(fā)及施工。

■ OAM升級改造，滿足刀片機集群便捷有效管理的要求，由⑩接口處進(jìn)行的靜態(tài)數(shù)據(jù)分散式配置，改為集中式管理配置，對CF的系統(tǒng)監(jiān)控接口保留，同時需要擴(kuò)充對CMP的監(jiān)控和間接的PC機狀況監(jiān)控。

■ 考慮PC機集群的應(yīng)用、子系統(tǒng)遷移挪出的機器重新部署、其它子系統(tǒng)對PC機集群的系統(tǒng)集成改造和重新部署，整個生產(chǎn)環(huán)境大調(diào)整的施工工程。

■ PC機集群數(shù)量較多（幾十臺）且隨著業(yè)務(wù)的不斷增長而不斷擴(kuò)展，建設(shè)滿足集群化部署方式的運維手段也是工程的重要部分，包括：主機資源監(jiān)控、靜態(tài)配置數(shù)據(jù)管理、應(yīng)用的升級同步、業(yè)務(wù)運行狀況監(jiān)控等等。

工程中，新增的核心模塊有三大塊：業(yè)務(wù)均衡模塊CMP、會話同步模塊session_syn、超時會話管理改造。主要涉及的功能：

□ 會話級負(fù)載均衡網(wǎng)元CCR消息到CF刀片化PC主機。

□ 會話記錄集中同步到CMP。

□ 超時會話集中處理。

□ CF刀片集群單節(jié)點故障時，故障節(jié)點會話記錄快速均衡到集群其它PC機。

□ 動態(tài)向CF刀片集群添加新PC機。

□ CMP提供人機管理交互接口。

□ CMP提供離線容錯功能（單節(jié)點故障，當(dāng)會話同步中而未完成時，可以考慮把會話發(fā)往離線節(jié)點）。

□ CMP架設(shè)OAM統(tǒng)一接口，各個業(yè)務(wù)CMP統(tǒng)一由OAM監(jiān)控管理。

CMP在滿足上述的功能時，盡量采用開放的設(shè)計，以插件和消息驅(qū)動的方式來實現(xiàn)，整體的模塊框架如下：

在滿足上述的功能情況下，對于性能能否滿足生產(chǎn)需求和業(yè)務(wù)增長的需求是這次工程能夠勝利完成的至關(guān)重要指標(biāo)。

從OCS現(xiàn)網(wǎng)的業(yè)務(wù)量統(tǒng)計來看，數(shù)據(jù)業(yè)務(wù)最大，每秒10719個請求，如果8個ABM服務(wù)器用戶量相當(dāng)，可以認(rèn)為10719個請求分?jǐn)偟?8 個節(jié)點上面，每個節(jié)點處理的請求數(shù)為1339個。CMP按ABM和業(yè)務(wù)來部署，8個ABM，6種業(yè)務(wù)（數(shù)據(jù)、語音、會話增值、事件增值、短信、WLAN），共48個CMP進(jìn)程。每個進(jìn)程每秒最多處理 1339 個請求的要求就可以滿足系統(tǒng)當(dāng)前要求，考慮將來業(yè)務(wù)發(fā)展等情況，CMP按每秒處理8000 個CCR請求的目標(biāo)建設(shè)。

會話同步模塊session_syn同步50萬會話記錄，提出2分多鐘同步完成的時間要求。達(dá)到每秒接近4500條記錄每秒的速率。

單故障節(jié)點異常時，重新更新均衡50萬會話記錄的時間大概是30秒的要求。

在均衡算法方案中，提出了三種均衡算法：

1、 業(yè)務(wù)量均衡

2、 加權(quán)均衡

3、 時間均衡

√業(yè)務(wù)量均衡

核心思想：根據(jù)處理的業(yè)務(wù)量進(jìn)行負(fù)載均衡，業(yè)務(wù)量以計費請求消息數(shù)與計費應(yīng)答消息數(shù)之差作為衡量。(優(yōu)先實現(xiàn)這種策略)

啟用計數(shù)器登記計費請求消息數(shù)與計費應(yīng)答消息數(shù)之差，每發(fā)送一個計費請求，計數(shù)器遞增一；反之每收到一個計費應(yīng)答，計數(shù)器遞減一。

算法實現(xiàn)：CMP對每個計費請求消息進(jìn)行負(fù)載均衡選擇CF計費節(jié)點的時候，先判斷是否能直接路由，如：相同會話、相同號碼發(fā)往同一個節(jié)點，不能，對CF所有計費節(jié)點的計數(shù)器排序選擇最小的發(fā)送。

特別地，1）如果有新節(jié)點添加進(jìn)來，這個算法也不需要重置計數(shù)器。

2）采用計費請求消息數(shù)與計費應(yīng)答消息數(shù)之差作為計數(shù)器的值，可能由于業(yè)務(wù)量少或者某個主機處理能力比較快而相對比較集中地把計費請求發(fā)送到一個主機節(jié)點上面，為了避免這種情況的出現(xiàn)，在CMP實現(xiàn)的時候，當(dāng)存在多個計數(shù)器都是最小值的時候，通過隨機函數(shù)計算選擇某個節(jié)點。

√加權(quán)均衡

算法核心思想：先滿足高處理能力節(jié)點的要求，然后才是考慮低處理能力的節(jié)點。這么做的理由有三：

1、不可能完全接收到X個消息后再統(tǒng)一分派；

2、不知道接收X個消息需要多長時間；

3、高加權(quán)的機器說明更好、更可靠，在不可預(yù)知后面接收消息的情況下，先保證當(dāng)前處理的CCR被更可靠的節(jié)點計費。這些都是隨機不可預(yù)知的，但每接收到一個CCR消息的時候CMP就要作出判斷，該發(fā)往哪個CF計費節(jié)點。

算法實現(xiàn)：1）需要考慮加權(quán)值相互之間的比值。2）需要考慮換算以那個加權(quán)值為基準(zhǔn)。3）換算過程中，是向上折算還是向下折算，由于核心思想中以高比值更可靠，選向上折算。4）均衡過程中，需要考慮加權(quán)值相互之間的最小公倍數(shù)問題。

√時間均衡

算法核心思想：根據(jù)每個CF節(jié)點平均處理CCR的時長來決定負(fù)載CCR消息數(shù)的多少，需要以輪詢策略來獲取最初的時長參數(shù)，然后再計算、轉(zhuǎn)換加權(quán)值，最終都以加權(quán)輪詢的方式均衡分發(fā)消息。

算法實現(xiàn)：1）最初的輪詢策略分發(fā)多少個CCR來獲取時長參數(shù)。2）每隔多長時間重新調(diào)整加權(quán)值。3）以什么算法公式轉(zhuǎn)換為加權(quán)值最為合理。

為了保證單PC主機發(fā)生故障時不影響業(yè)務(wù)的使用，需要對CF的會話記錄進(jìn)行有效的管理和備份。系統(tǒng)引進(jìn)了會話雙向同步的機制：

OCS系統(tǒng)在正常運行時，需要對會話數(shù)據(jù)進(jìn)行備份，進(jìn)行會話數(shù)據(jù)的同步處理；當(dāng)某個節(jié)點發(fā)生異常時，需要對該節(jié)點的會話數(shù)據(jù)重新均衡到其它節(jié)點，啟動反向數(shù)據(jù)同步流程。

最后，CMP完成以后的物理架構(gòu)圖如下：

作者：廣州從興電子開發(fā)有限公司 王金銓 來源：廠商供稿