banner.jpg)
相關(guān)專題：
2016年04月12日10:21 來源：移動通信網(wǎng)T|T
【移動通信網(wǎng)】【2016年4月11日，中國北京】IBM公司（NYSE：IBM）近日宣布推出基于ApacheSpark的新型z/OS平臺，以幫助企業(yè)使用IBM大型主機更加方便、快捷地訪問和分析數(shù)據(jù)。此舉將給數(shù)據(jù)科學(xué)家和開發(fā)人員創(chuàng)造新的機會，幫助他們對系統(tǒng)豐富的數(shù)據(jù)集進行高級分析，以實現(xiàn)實時洞察。ApacheSpark是一種開源的分析框架，IBM此次推出的基于Spark的z/OS平臺將支持其在z/OS主機操作系統(tǒng)上實現(xiàn)本地運行。新的操作系統(tǒng)平臺可以幫助數(shù)據(jù)科學(xué)家打通分析庫和底層文件系統(tǒng)之間的聯(lián)系，無需進行提取、轉(zhuǎn)換和加載（ETL）即可對數(shù)據(jù)實現(xiàn)就地分析。
在認(rèn)知時代，數(shù)據(jù)作為一種新的自然資源能夠被計算機系統(tǒng)所理解、推理和學(xué)習(xí)，但企業(yè)必須在數(shù)據(jù)價值有效期內(nèi)對其進行分析，形成洞察并予以應(yīng)用。新的z/OS平臺配有來自業(yè)務(wù)合作伙伴的加速器，可以幫助企業(yè)更便利地利用大型主機的數(shù)據(jù)和能力，來了解市場變化和客戶的個性化需求，從而對業(yè)務(wù)及時進行調(diào)整，更快實現(xiàn)價值。
IBM大型主機被全球各大銀行、保險公司、零售商和運輸公司廣泛用于關(guān)鍵數(shù)據(jù)處理和交易。它擁有業(yè)界最快的商用微處理器，以及內(nèi)置的交易分析功能，可以在不超過2毫秒的時間內(nèi)為某項交易的預(yù)測模型評分。目前，企業(yè)可以利用這些功能，在無需從主機中下載數(shù)據(jù)（withoutmovingdataoffthemainframe）的條件下通過Spark來進行高級內(nèi)存中分析，既節(jié)省時間和成本，又降低風(fēng)險。
IBM專注于新興互聯(lián)網(wǎng)技術(shù)的院士RodSmith表示，“各種規(guī)模的企業(yè)在向?qū)崟r數(shù)字化轉(zhuǎn)型時，都需要對自己所有的數(shù)據(jù)了解清楚，這個過程不應(yīng)花費過多的時間，也不應(yīng)有提取、轉(zhuǎn)換和加載（ETL）的風(fēng)險�，F(xiàn)在我們實現(xiàn)了在包括大型主機在內(nèi)的IBM平臺上本地（natively）運行ApacheSpark，客戶可以并行執(zhí)行處理關(guān)鍵數(shù)據(jù)的交易處理系統(tǒng)和分析系統(tǒng)，同時從其他數(shù)據(jù)源獲取關(guān)聯(lián)洞察，幫助他們與客戶進行實時互動，繼而產(chǎn)生效益�！�
基于ApacheSpark推出的IBMz/OS平臺具備ApacheSparkcore、SparkSQL、SparkStreaming、MachineLearningLibrary(MLlib)和Graphx等開源功能，可提供業(yè)內(nèi)唯一的主機常駐Spark數(shù)據(jù)提取解決方案。新的平臺幫助企業(yè)通過以下途徑更加高效、安全地獲取信息：
"簡化開發(fā)——開發(fā)人員和數(shù)據(jù)科學(xué)家可利用他們已有的Scala、Python、R和SQL等編程經(jīng)驗來更快實現(xiàn)可用洞察的價值。
"簡化數(shù)據(jù)訪問——經(jīng)過優(yōu)化的數(shù)據(jù)抽象化服務(wù)消除了復(fù)雜性，通過ApacheSparkAPI使用熟悉的工具對IMS、VSAM、DB2z/OS、PDSE或SMF等傳統(tǒng)格式實現(xiàn)企業(yè)數(shù)據(jù)的無縫訪問。
"就地數(shù)據(jù)分析（In-placedataanalytics）——ApacheSpark使用內(nèi)存計算來處理數(shù)據(jù)，可以快速產(chǎn)生結(jié)果。新平臺具備數(shù)據(jù)抽象和集成服務(wù)功能，可以讓z/OS分析應(yīng)用程序利用標(biāo)準(zhǔn)SparkAPI。這可以讓企業(yè)就地分析數(shù)據(jù)，避免產(chǎn)生提取、轉(zhuǎn)換和加載相關(guān)的高額處理和安全性問題。
"開源功能——新平臺提供了一個應(yīng)用于ApacheSpark、專門針對大數(shù)據(jù)設(shè)計的開源內(nèi)存計算引擎。
IBM也在與DataFactZ、RocketSoftware和Zementis這三家公司進行合作，通過IBMz/OS平臺為ApacheSpark開發(fā)定制解決方案：
"DataFactZ是IBM新的合作伙伴，雙方正在合作開發(fā)基于SparkSQL和MLlib的Spark分析產(chǎn)品，以用于在大型機上處理的數(shù)據(jù)和交易。
"RocketSoftware已經(jīng)成為IBM的長期合作伙伴，兩家公司在z/OSApacheSpark領(lǐng)域也已展開合作。比如，新的RocketLaunchpad解決方案可以讓客戶使用z/OS數(shù)據(jù)來體驗平臺功能。
"Zementis正在開發(fā)支持ApacheSpark的基于多個標(biāo)準(zhǔn)的執(zhí)行引擎。作為一款新的z/OS交易中預(yù)測分析（in-transactionpredictiveanalytics）解決方案，它允許用戶在處理交易時部署和執(zhí)行高級預(yù)測模型，幫助用戶在影響最大的時候?qū)崟r地預(yù)測終端用戶需求、計算機風(fēng)險或偵測欺詐。
基于ApacheSpark推出的全新z/OS平臺以及合作伙伴相關(guān)解決方案，可以讓那些從不同來源采集數(shù)據(jù)的數(shù)據(jù)科學(xué)家和數(shù)據(jù)管理員用自己喜歡的格式和工具來收集和分析數(shù)據(jù)。
IBM去年發(fā)布了一項針對Spark的承諾，將投入3500名IBM研究人員和開發(fā)人員參與與Spark相關(guān)的項目。為了推進支持大型主機分析的開源技術(shù)，大型主機還成了一個新的GitHub組織，以便開發(fā)人員協(xié)作建立針對Spark的z/OS工具。比如，ProjectJupyter和任一NoSQL數(shù)據(jù)庫的組合都能提供靈活、可擴展的數(shù)據(jù)處理和分析解決方案.
這一方法可以幫助件開發(fā)人員選擇他們的工具和語言，提供能夠在不同數(shù)據(jù)環(huán)境中監(jiān)控分析結(jié)果的新型視覺輔助工具，開發(fā)出新的數(shù)據(jù)處理技術(shù)和技巧，從而讓新的開源工具更易使用。
