12月3日消息
在上周由中國計算機學會主辦的“Hadoop與大數(shù)據(jù)技術(shù)大會”上，中國移動研究院云計算研究員齊驥表示，隨著移動互聯(lián)網(wǎng)規(guī)模高速成長
，運營商也面臨大數(shù)據(jù)難題，尤其是對數(shù)據(jù)的存儲需求增長，迅速擴容壓力與日俱增。

因此，齊驥介紹，中國移動率先在國內(nèi)啟動“大云”計劃，以技術(shù)研究、原型系統(tǒng)開發(fā)為先導，以策略研究為指導，逐步規(guī)范化、產(chǎn)品化，形成現(xiàn)網(wǎng)落地并推廣。目前，大云產(chǎn)品布局已基本完成，同時，針對運營商IT支撐系統(tǒng)的業(yè)務需求，“大云”團隊基于開源軟件開發(fā)了HugeTable大數(shù)據(jù)倉庫。

技術(shù)融合：彌補Hive、Hbase不足

據(jù)齊驥介紹，傳統(tǒng)的解決方案價格昂貴，現(xiàn)有開源系統(tǒng)僅滿足部分需求，不滿足數(shù)據(jù)實時上線要求，無法使用單一存儲引擎同時支持精確定位查詢和OLAP查詢，且不支持索引，無法處理投訴查詢。

“Hive是基于Hadoop的開源數(shù)據(jù)倉庫框架，擁有數(shù)據(jù)量元超傳統(tǒng)數(shù)據(jù)庫、成本低廉、擴展性好、支持標準SQL查詢語言等特點”齊驥表示，“但是，其存在可視化支持不足、不支持數(shù)據(jù)預處理、應用整合能力不足、查詢延遲等問題。”

“Hbase是在Hadoop之上構(gòu)建的菲關(guān)系型、面向列存儲的開源分布式結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)，其具有數(shù)據(jù)有序稀疏數(shù)據(jù)列存儲、行級別數(shù)據(jù)一致性等特點”齊驥表示，“但是，其存在面向特定應用設計，應用代碼重用度不高、缺乏統(tǒng)一接口標準、產(chǎn)品成熟度不高，極限情況下不穩(wěn)定、需要應用程序做較多工作，與應用耦合太緊等問題。”

相比Hive、Hbase，據(jù)齊驥介紹，HugeTable技術(shù)可以算是取兩者之精華，補兩者之不足。“在存儲引擎機制方面，它能針對不同的應用場景如OLAP、OLTP，提供不同的存儲引擎選擇，保證客戶存儲、查詢成本最優(yōu)；在智能索引機制方面，它能面向不同查詢，根據(jù)查詢代價動態(tài)選擇索引，進一步縮短查詢響應時間；在分布式加載框架方面，它能并行、持續(xù)、可預處理的分布加載系統(tǒng)；在可靠性保證方面，它所有模塊、服務無單點故障，保證系統(tǒng)在生產(chǎn)環(huán)境下可靠運行；在數(shù)據(jù)訪問接口方面，它提供包括NativeAPI、MapReduce API和SQL在內(nèi)的多種數(shù)據(jù)訪問接口，方便應用的開發(fā)和移植。”

未來發(fā)展：面向三大開發(fā)方向

齊驥表示，HugeTable技術(shù)系統(tǒng)是在Hive、Hbase等開源工具基礎上進一步完善的成果，使其不再僅滿足部分海量數(shù)據(jù)存儲、分析場景，在互聯(lián)網(wǎng)和運營商領(lǐng)域廣泛應用，在解決運營商復雜大數(shù)據(jù)問題上滿足其功能、性能、可用性等方面問題。

為了更好幫助運營商解決大數(shù)據(jù)難題，進一步提升系統(tǒng)性能，據(jù)齊驥介紹，下一步將在實時的大數(shù)據(jù)分析、列存儲技術(shù)、多租用戶安全性支持這三大方面深度開發(fā)。

“比如在信息檢測領(lǐng)域，經(jīng)常需要對數(shù)以十億計的信息檢測數(shù)據(jù)進行多難度的統(tǒng)計分析。而應用要求在10秒鐘，甚至更短的時間返回結(jié)果，因此需要實現(xiàn)實時的大數(shù)據(jù)分析。”齊驥如是說。

另外，齊驥表示，雖然已經(jīng)支持了RCFile這種近似列存的儲存引擎，但對于更細粒度的存儲支持和基于數(shù)據(jù)塊統(tǒng)計信息的查詢優(yōu)化實際上還需要投入更多的精力。在帳詳單領(lǐng)域往往要求儲存數(shù)據(jù)壓縮比例達到10:1甚至更高，這就需要先進的列存技術(shù)支撐。

而且，齊驥強調(diào)，從存儲引擎、應用開發(fā)接口及外圍工具的各個層面，統(tǒng)一的支持多租用戶機制，并保證在此場景下所有數(shù)據(jù)操作的安全性，對HugeTable來說也是一個重要的挑戰(zhàn)。