新思維、新架構(gòu)，構(gòu)建新一代運營商數(shù)據(jù)中心

2017年10月25日17:04 來源：CCTIME飛象網(wǎng)T|T

【移動通信網(wǎng)】隨著移動互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，數(shù)據(jù)呈爆炸式增長，其重要性已被企業(yè)提升到前所未有的高度，成為了企業(yè)發(fā)展的戰(zhàn)略資產(chǎn)。海量數(shù)據(jù)的產(chǎn)生，給企業(yè)帶來巨大潛在價值的同時，也讓企業(yè)在數(shù)據(jù)存儲和處理能力方面面臨著更大的挑戰(zhàn)。

在移動互聯(lián)網(wǎng)出現(xiàn)之前，運營商數(shù)據(jù)主要是人機會話方式產(chǎn)生的，以結(jié)構(gòu)化數(shù)據(jù)為主;隨著互聯(lián)網(wǎng)尤其是移動互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生了大量的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)庫應(yīng)對這類應(yīng)用需求，無論從技術(shù)上還是功能上都存在明顯的不足，而Hadoop等技術(shù)的誕生為非結(jié)構(gòu)化的海量數(shù)據(jù)處理提供了新的研究思路和解決方案。

在技術(shù)上，中興軟創(chuàng)經(jīng)過綜合比較傳統(tǒng)數(shù)據(jù)倉庫技術(shù)和Hadoop等新技術(shù)，結(jié)合植根多年的運營商服務(wù)經(jīng)驗，提出了構(gòu)建新一代運營商數(shù)據(jù)中心的解決方案。中興軟創(chuàng)選擇傳統(tǒng)數(shù)據(jù)倉庫(如Oracle)與Hadoop混搭的方式，借鑒關(guān)系型數(shù)據(jù)倉庫在傳統(tǒng)應(yīng)用支撐方面以及在復(fù)雜查詢和分析方面的快速響應(yīng)能力，同時也借鑒了Hadoop的非結(jié)構(gòu)化數(shù)據(jù)處理能力，實現(xiàn)數(shù)據(jù)的高效運算、低耗能存儲，滿足運營商的日常戰(zhàn)略需求。

圖1 企業(yè)數(shù)據(jù)中心技術(shù)架構(gòu)圖

在功能上，新一代運營商數(shù)據(jù)中心包括三大能力中心：數(shù)據(jù)生產(chǎn)中心、數(shù)據(jù)服務(wù)中心、數(shù)據(jù)管理中心。

圖2 企業(yè)數(shù)據(jù)中心功能架構(gòu)圖

數(shù)據(jù)生產(chǎn)中心作為數(shù)據(jù)中心的核心，主要負責企業(yè)數(shù)據(jù)的采集和處理，保障數(shù)據(jù)的及時性、高質(zhì)性和穩(wěn)定性�；�于大數(shù)據(jù)技術(shù)為數(shù)據(jù)生產(chǎn)、測試和挖掘構(gòu)建基礎(chǔ)的計算、存儲、作業(yè)提交、任務(wù)調(diào)度、數(shù)據(jù)查詢和認證授權(quán)等能力;同時通過引入Spark、SparkStreaming、impala等系統(tǒng)，進一步提升平臺實時性能和效率。

在接口數(shù)據(jù)采集方面，采用實時增量方式采集，提升數(shù)據(jù)入庫效率，減小生產(chǎn)系統(tǒng)數(shù)據(jù)抽取壓力;整合層通過實時與增量整合模式提升實時性和及時性;中間層以基線+增量的方式進行基礎(chǔ)寬表計算，進一步優(yōu)化基礎(chǔ)寬表計算的效率;匯總層通過標簽、指標模塊化，實現(xiàn)靈活、高效的標簽、指標庫。

數(shù)據(jù)服務(wù)中心負責把企業(yè)數(shù)據(jù)中心的能力進行封裝，通過API、查詢、推送、資源等方式對外提供服務(wù)，探索數(shù)據(jù)變現(xiàn)之道。通過系統(tǒng)目錄和門戶網(wǎng)站，實現(xiàn)企業(yè)數(shù)據(jù)能力的可視、可查;通過標準化的訂閱、審批和服務(wù)提供流程，實現(xiàn)數(shù)據(jù)、資源、消息共享;通過定制化的加密脫敏、精細化的權(quán)限控制、詳細的使用日志的記錄和審計，最終實現(xiàn)安全的數(shù)據(jù)共享。

數(shù)據(jù)管理中心是以數(shù)據(jù)資產(chǎn)為核心打造的數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)管理和生產(chǎn)過程管理;同時，以全程調(diào)度為中心銜接管理和生產(chǎn)，提升系統(tǒng)端到端的協(xié)同式數(shù)據(jù)生產(chǎn)效率和安全質(zhì)量。

2016年，中興軟創(chuàng)和中國電信湖南省分公司開展合作，率先協(xié)助湖南電信完成新一代的企業(yè)數(shù)據(jù)中心(EDC)項目的上線。全新打造的企業(yè)數(shù)據(jù)中心成為湖南電信大數(shù)據(jù)和各項業(yè)務(wù)的連接器，以全面、及時、高質(zhì)、敏捷、安全的能力，支撐企業(yè)內(nèi)外部的數(shù)據(jù)需求，為踐行湖南電信乃至中國電信集團的發(fā)展戰(zhàn)略奠定堅實基礎(chǔ)!