大數(shù)據(jù)基準(zhǔn)測(cè)試第一批結(jié)果發(fā)布 樹立行業(yè)標(biāo)桿

    進(jìn)入2015年，大數(shù)據(jù)產(chǎn)品和服務(wù)采購進(jìn)入爆發(fā)期，但大數(shù)據(jù)領(lǐng)域新的技術(shù)和產(chǎn)品層出不窮，業(yè)界缺乏統(tǒng)一的產(chǎn)品評(píng)測(cè)標(biāo)準(zhǔn)。面對(duì)快速發(fā)展變化的大數(shù)據(jù)技術(shù)和產(chǎn)品，企業(yè)CIO面臨如何評(píng)估、如何選型、如何使用等問題，企業(yè)IT部門也苦惱于如何搭建企業(yè)級(jí)的大數(shù)據(jù)平臺(tái)以支撐企業(yè)未來業(yè)務(wù)的發(fā)展。

    2014年6月，數(shù)據(jù)中心聯(lián)盟聯(lián)合20多家企業(yè)啟動(dòng)了大數(shù)據(jù)平臺(tái)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)的制定，力圖以標(biāo)準(zhǔn)化與測(cè)試為紐帶，將應(yīng)用與技術(shù)，用戶與廠商有機(jī)聯(lián)系起來，牽引我國大數(shù)據(jù)技術(shù)水平不斷提升，幫助企業(yè)解決大數(shù)據(jù)技術(shù)和產(chǎn)品評(píng)估、選型、使用等難題。經(jīng)過半年的工作與討論，聯(lián)盟于今年1月底發(fā)布了《大數(shù)據(jù)平臺(tái)基準(zhǔn)測(cè)試》的技術(shù)要求和測(cè)試方法，這是國內(nèi)第一個(gè)面向商用大數(shù)據(jù)產(chǎn)品的評(píng)測(cè)標(biāo)準(zhǔn)。

    今年5月至7月，受數(shù)據(jù)中心聯(lián)盟委托，中國信息通信研究院開展了大數(shù)據(jù)商業(yè)產(chǎn)品的第一輪測(cè)試，中移（蘇州）軟件技術(shù)有限公司的BC-Hadoop、華為技術(shù)有限公司的FusionInsight、星環(huán)信息科技(上海)有限公司的Transwarphadoop、上海優(yōu)刻得信息科技有限公司的UDDP、中興通訊股份有限公司的GoldenData參加。軟件產(chǎn)品在中國信息通信研究院提供的16臺(tái)服務(wù)器進(jìn)行測(cè)評(píng)，云服務(wù)在優(yōu)刻得提供的公有云環(huán)境中進(jìn)行評(píng)測(cè)。

    這次測(cè)試是業(yè)界第一次商用大數(shù)據(jù)軟件平臺(tái)測(cè)試活動(dòng)，也是第一次多任務(wù)負(fù)載的大數(shù)據(jù)測(cè)試。測(cè)試是在統(tǒng)一環(huán)境要求、統(tǒng)一數(shù)據(jù)規(guī)模、統(tǒng)一任務(wù)負(fù)載和統(tǒng)一測(cè)試周期的條件下進(jìn)行的。7月30日上午，在2015年可信云大會(huì)上，數(shù)據(jù)中心聯(lián)盟正式發(fā)布了測(cè)試結(jié)果，披露了部分測(cè)試數(shù)據(jù)。

    本次測(cè)試中，批處理任務(wù)方面，數(shù)據(jù)排序處理的數(shù)據(jù)量達(dá)到13.6TB，集群最高處理速度達(dá)到1.66GB/s，平均吞吐率為1258MB/s；詞頻統(tǒng)計(jì)處理2.8TB的文本數(shù)據(jù)，速度最高達(dá)到1.67GB/s，平均吞吐率為1155MB/s。

    NoSQL數(shù)據(jù)庫任務(wù)中，“寫（Write）”操作向服務(wù)端寫入20億條記錄，最快為140

    ops；“讀（Read）”操作從服務(wù)端讀取20億條記錄，最快為87

    ops，平均為71.7

    ops；“掃描（Scan）”操作最快為9.6

    ops，平均為8.7

    ops。

    Hive任務(wù)中，Aggregation對(duì)1.83TB的大表做聚合，最快的吞吐率為3759MB/s，平均吞吐率為2087MB/s。

    除了性能測(cè)試外，本次測(cè)試還覆蓋產(chǎn)品的容錯(cuò)性、安全與運(yùn)維等方面，考驗(yàn)參測(cè)企業(yè)在限定時(shí)間內(nèi)完成環(huán)境安裝、平臺(tái)部署和性能調(diào)優(yōu)的綜合能力。

    此外中國信息通信研究院還與華為在200臺(tái)服務(wù)器單集群上進(jìn)行了預(yù)測(cè)試，這是國內(nèi)第一次在大規(guī)模節(jié)點(diǎn)上進(jìn)行的測(cè)試，為正式開展大規(guī)模集群測(cè)試工作積累了經(jīng)驗(yàn)。

    數(shù)據(jù)中心聯(lián)盟正在與金融、電信等行業(yè)用戶聯(lián)合，制定更貼近行業(yè)特點(diǎn)、更復(fù)雜任務(wù)和更大規(guī)模集群的測(cè)試標(biāo)準(zhǔn)，第二輪測(cè)試活動(dòng)正在籌備中。