電信行業(yè)高效數(shù)據(jù)壓縮技術(shù)的應(yīng)用

一年前，IDC發(fā)布了一項(xiàng)關(guān)于數(shù)據(jù)存儲(chǔ)的預(yù)測(cè)，IDC認(rèn)為，全球數(shù)據(jù)量的迅速增長(zhǎng)將會(huì)導(dǎo)致人類在2010年左右遭遇到新數(shù)據(jù)可能無(wú)處可存的窘境。當(dāng)然，許多業(yè)內(nèi)人士對(duì)IDC的這一觀點(diǎn)提出了質(zhì)疑，理由有：數(shù)據(jù)存儲(chǔ)時(shí)間很短、存儲(chǔ)介質(zhì)將不斷豐富、數(shù)據(jù)的產(chǎn)生本身就要依托存儲(chǔ)的介質(zhì)等，但是，對(duì)于IDC預(yù)測(cè)中所暗含的數(shù)據(jù)迅猛增長(zhǎng)的趨勢(shì)，并沒(méi)有太多人表示懷疑。尤其是近年來(lái)電信、金融等行業(yè)輝煌發(fā)展的同時(shí)，都伴隨著數(shù)據(jù)的持續(xù)海量增長(zhǎng)，就更加證明了這一趨勢(shì)。

電信行業(yè)是存儲(chǔ)方案應(yīng)用最成熟、最廣泛、要求最高的行業(yè)之一，可謂是存儲(chǔ)應(yīng)用的前沿陣地。在行業(yè)迅速發(fā)展、增值業(yè)務(wù)不斷推出以及基于歷史數(shù)據(jù)的行為分析、用戶細(xì)分等數(shù)據(jù)挖掘情形下，可以發(fā)現(xiàn)電信行業(yè)對(duì)存儲(chǔ)方案的需求，主要集中在計(jì)費(fèi)中心、數(shù)據(jù)中心、互聯(lián)網(wǎng)中心等方向。電信企業(yè)一方面要求確保業(yè)務(wù)數(shù)據(jù)安全、可靠、永久在線、系統(tǒng)性能能夠快速響應(yīng)，另一方面又希望存儲(chǔ)方案能夠更經(jīng)濟(jì)、更有效。中電達(dá)通通信技術(shù)股份有限公司正是基于對(duì)電信行業(yè)用戶對(duì)存儲(chǔ)方案要求的深刻理解和多年的市場(chǎng)研究，于2005年提出了針對(duì)數(shù)據(jù)持續(xù)海量增長(zhǎng)的歷史數(shù)據(jù)生命周期解決方案，在經(jīng)歷了3年的市場(chǎng)應(yīng)用及不斷優(yōu)化過(guò)程中，已使電信企業(yè)的上述要求能夠得到充分的滿足，并實(shí)現(xiàn)最大的投資回報(bào)。

DataMerger系統(tǒng)簡(jiǎn)介

歷史數(shù)據(jù)高效壓縮存儲(chǔ)系統(tǒng)—DataMerger，適用于解決電信行業(yè)中大量的歷史數(shù)據(jù)的管理和存儲(chǔ)，諸如在所有交易中產(chǎn)生的，且必須在一定時(shí)間內(nèi)應(yīng)予保留備查和統(tǒng)計(jì)分析之用的結(jié)果數(shù)據(jù)，如賬單/詳單數(shù)據(jù)、短信數(shù)據(jù)、跨網(wǎng)結(jié)算數(shù)據(jù)等。首先將其從計(jì)費(fèi)系統(tǒng)中予以剝離，以減輕主系統(tǒng)負(fù)荷、提高生產(chǎn)系統(tǒng)的效率，其次根據(jù)其數(shù)據(jù)的歷史生命周期，對(duì)不同使用頻率的數(shù)據(jù)采用不同的壓縮比率進(jìn)行壓縮，在保證使用的前提下，盡最大的可能合理壓縮數(shù)據(jù)。這種數(shù)據(jù)存儲(chǔ)方式既沒(méi)有占用大量的一級(jí)存儲(chǔ)，節(jié)約了成本，同時(shí)也解決了低廉的二級(jí)存儲(chǔ)方案不能滿足管理查詢和分析的問(wèn)題。

圖 DataMerger系統(tǒng)拓?fù)鋱D

DataMerger系統(tǒng)結(jié)構(gòu)

DataMerger本身是一個(gè)完整的關(guān)系型數(shù)據(jù)庫(kù)服務(wù)器，支持SQL語(yǔ)法，具備穩(wěn)定可靠的ODBC、JDBC、C/C++等應(yīng)用接口，同時(shí)，DataMerger可以與多種數(shù)據(jù)庫(kù)互聯(lián)，通過(guò)Oracle數(shù)據(jù)庫(kù)服務(wù)器對(duì)應(yīng)用程序提供服務(wù)。

DataMerger數(shù)據(jù)庫(kù)管理系統(tǒng)，由數(shù)據(jù)庫(kù)服務(wù)器、控制臺(tái)、后臺(tái)維護(hù)管理工具、備份/恢復(fù)工具、系統(tǒng)互聯(lián)接口、Oracle數(shù)據(jù)互聯(lián)服務(wù)器以及統(tǒng)計(jì)分析接口構(gòu)成。

DataMerger系統(tǒng)拓?fù)?/p>

DM系統(tǒng)處于主系統(tǒng)和應(yīng)用系統(tǒng)中間，DM系統(tǒng)根據(jù)用戶的需求將數(shù)據(jù)定期從主系統(tǒng)中進(jìn)行抽取，數(shù)據(jù)抽取過(guò)來(lái)后根據(jù)索引進(jìn)行二次壓縮和數(shù)據(jù)校驗(yàn)，然后完成數(shù)據(jù)的上線。應(yīng)用程序可以通過(guò)DM系統(tǒng)的多種接口進(jìn)行連接。DataMerger系統(tǒng)拓?fù)淙鐖D所示。

DataMerger系統(tǒng)的特點(diǎn)

操作系統(tǒng)：支持主流的Unix操作系統(tǒng)，包括AIX、HP-Unix、Linux、Solaris等。

數(shù)據(jù)抽取方式：聯(lián)機(jī)采集，與需要進(jìn)行數(shù)據(jù)抽取的源數(shù)據(jù)庫(kù)進(jìn)行連接后，直接進(jìn)行數(shù)據(jù)采集，采集方可根據(jù)用戶需求進(jìn)行全表或條件采集，全表采集對(duì)源系統(tǒng)影響很小（1%以內(nèi)），條件采集取決于采集SQL的復(fù)雜度。

存儲(chǔ)壓縮方式：多種壓縮比率可調(diào)，根據(jù)數(shù)據(jù)的不同生命周期，采用快速壓縮、普通壓縮、中密度壓縮、高密度壓縮四種方式。而且還可根據(jù)需求按列或按行進(jìn)行壓縮，組合后壓縮方式多達(dá)八種。

采集數(shù)據(jù)源：提供對(duì)主流數(shù)據(jù)庫(kù)采集的支持。如Oracle、DB2、Sybase、Informix、MySQL的聯(lián)機(jī)采集支持。

檢索方式：支持標(biāo)準(zhǔn)的SQL92標(biāo)準(zhǔn)，可以通過(guò)SQL語(yǔ)句直接進(jìn)行聯(lián)機(jī)檢索。也可以通過(guò)Oracle的異構(gòu)組件與Oracle數(shù)據(jù)庫(kù)進(jìn)行互聯(lián)，實(shí)現(xiàn)數(shù)據(jù)共享，對(duì)應(yīng)用透明。

數(shù)據(jù)恢復(fù)：數(shù)據(jù)恢復(fù)時(shí)只需把備份文件直接拷貝到DM中，通過(guò)掛載即可完成數(shù)據(jù)恢復(fù)過(guò)程，且可對(duì)備份的數(shù)據(jù)直接進(jìn)行SQL查詢。

可擴(kuò)展性：DM本身作為一個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)系統(tǒng)，很容易支持各種大數(shù)據(jù)量的應(yīng)用系統(tǒng)的歷史數(shù)據(jù)生命周期管理，無(wú)需進(jìn)行復(fù)雜的接口開(kāi)發(fā)。

DataMerger系統(tǒng)案例

到目前為止，DataMerger系統(tǒng)的成功案例有：河南聯(lián)通歷史詳單數(shù)據(jù)高效存儲(chǔ)聯(lián)機(jī)檢索系統(tǒng)、內(nèi)蒙古聯(lián)通詳單歷史數(shù)據(jù)生命周期管理系統(tǒng)、吉林聯(lián)通話費(fèi)詳單歷史數(shù)據(jù)生命周期管理系統(tǒng)、內(nèi)蒙古聯(lián)通（原網(wǎng)通）結(jié)算數(shù)據(jù)管理查詢系統(tǒng)、云南聯(lián)通話費(fèi)詳單歷史數(shù)據(jù)統(tǒng)計(jì)分析系統(tǒng)、中國(guó)鐵通總部話費(fèi)詳單歷史數(shù)據(jù)存儲(chǔ)管理系統(tǒng)等。以下是兩個(gè)DataMerger系統(tǒng)在運(yùn)營(yíng)商中的典型應(yīng)用。

河南聯(lián)通的歷史詳單數(shù)據(jù)高效存儲(chǔ)聯(lián)機(jī)檢索系統(tǒng)應(yīng)用也較為廣泛，河南聯(lián)通曾使用IBM公司的Ondemand進(jìn)行歷史數(shù)據(jù)的壓縮管理，但由于昂貴的維保費(fèi)用和此產(chǎn)品對(duì)應(yīng)用程序的依賴性，使得維護(hù)和資金上顯得捉襟見(jiàn)肘。經(jīng)過(guò)認(rèn)真地審核，河南聯(lián)通選擇了DataMerger系統(tǒng)來(lái)管理龐大的歷史數(shù)據(jù)。河南聯(lián)通將系統(tǒng)的歷史詳單（語(yǔ)音話單、短信、彩鈴、193長(zhǎng)途、GPRS、賬單等）和報(bào)表數(shù)據(jù)放到DataMerger系統(tǒng)進(jìn)行管理，其業(yè)務(wù)提供公司內(nèi)部的報(bào)表系統(tǒng)查詢和詳單查詢、通過(guò)Tuxedo中間件提供全省營(yíng)業(yè)廳自助打印機(jī)查詢、全省前臺(tái)營(yíng)業(yè)廳的歷史詳單查詢和互聯(lián)網(wǎng)查詢。其中部分查詢通過(guò)異構(gòu)的方式實(shí)現(xiàn)，在整個(gè)應(yīng)用程序的改造只用了3天時(shí)間，大大減少了系統(tǒng)改造所帶來(lái)的不便。通過(guò)幾次售后調(diào)查得知，系統(tǒng)運(yùn)行一直穩(wěn)定，檢索性能優(yōu)異，完全達(dá)到初期系統(tǒng)建設(shè)的目的。

內(nèi)蒙古聯(lián)通（原網(wǎng)通）結(jié)算數(shù)據(jù)管理查詢系統(tǒng)主要應(yīng)用在其公司內(nèi)部結(jié)算數(shù)據(jù)的查詢，以往查詢的方式是省公司對(duì)各市、縣級(jí)公司下發(fā)只有查詢權(quán)限的DB2用戶，各地市的查詢時(shí)間沒(méi)能合理分配，經(jīng)常造成數(shù)據(jù)查詢響應(yīng)非常慢或無(wú)法查詢，對(duì)于系統(tǒng)中數(shù)據(jù)本身的安全性也構(gòu)成了一定的威脅，再加上原來(lái)使用的是Oracle數(shù)據(jù)庫(kù)，大家對(duì)DB2的操作也不是很熟悉，操作起來(lái)比較費(fèi)時(shí)；另一方面，大量的數(shù)據(jù)使得查詢變得越來(lái)越復(fù)雜，歷史數(shù)據(jù)備份到磁帶庫(kù)中無(wú)法進(jìn)行查詢，整個(gè)還原查詢的時(shí)間非常漫長(zhǎng)。使用了DataMerger系統(tǒng)后，系統(tǒng)定期到DB2中采集數(shù)據(jù)，各地市一張表，每個(gè)地市的操作人員只查詢各自的數(shù)據(jù)表，數(shù)據(jù)以只讀的方式提供，對(duì)數(shù)據(jù)和原生產(chǎn)主機(jī)的安全性來(lái)說(shuō)也得到了很大的提高，并且查詢的速度也比之前要快了3倍以上。

DataMerger系統(tǒng)除了在電信行業(yè)可以體現(xiàn)他的巨大價(jià)值以外，對(duì)一些存在大量新增數(shù)據(jù)并需要長(zhǎng)期保存的行業(yè)也可以有很好的應(yīng)用，如在金融行業(yè)、電力行業(yè)，尤其是金融行業(yè)的銀行信用卡中心，DataMerger不僅可以滿足不斷新增的數(shù)據(jù)都需要永久保留的要求，而且在產(chǎn)品的成本和維保上也遠(yuǎn)遠(yuǎn)低于同類的國(guó)外產(chǎn)品。

科技的進(jìn)步帶動(dòng)電信行業(yè)的迅猛發(fā)展，越來(lái)越豐富的業(yè)務(wù)給后臺(tái)的支撐平臺(tái)提出了更高的要求，在如此復(fù)雜的歷史條件下，相信高效、節(jié)約的DataMerger系統(tǒng)會(huì)有更多的機(jī)會(huì)發(fā)揮它更大的作用！

作者：中電達(dá)通通信技術(shù)股份有限公司系統(tǒng)工程師 楊宏亮 來(lái)源：通信世界網(wǎng)