大數(shù)據(jù)時代,用戶處理的數(shù)據(jù)量越來越大,需要的容量越來越大;保存的數(shù)據(jù)越來越多樣越來越復(fù)雜,包括不同的來源,不同的格式,包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)等;需要的訪問速度越來越高,訪問延遲越來越低;對數(shù)據(jù)價值的挖掘能力要求越來越高。
根據(jù)Gartner的分析,滿足大數(shù)據(jù)的IT架構(gòu),至少應(yīng)具備下面幾個特征
1) 橫向擴展: 可以線性橫向擴展而沒有性能影響
2) 低成本組件:通過使用消費級硬件,降低采購成本
3) 高可用:硬件故障作為常態(tài)而非特例來解決
4) 不共享架構(gòu):節(jié)點之間相互獨立
我們以此為基礎(chǔ),逐步揭開MVX的面紗。
Scale-up or Scale-out
傳統(tǒng)的NAS設(shè)備一般使用雙控制器節(jié)點提供服務(wù),每個節(jié)點支持特定的業(yè)務(wù)負載,當(dāng)容量不夠時通過擴展磁盤框的方式增加存儲容量。這種方式的缺陷在于,首先業(yè)務(wù)和節(jié)點的綁定,意味著一個業(yè)務(wù)及其關(guān)聯(lián)的文件系統(tǒng)只在一個節(jié)點上工作,容易造成系統(tǒng)整體的負載不均。其次,這種系統(tǒng)本質(zhì)上是Scale-up的擴容方式,追求單機性能,無法做到系統(tǒng)性能隨容量的增加線性增加。Scale-Out方式則是橫向擴展,疊加容量或性能節(jié)點,使容量性能得到擴展。
華為OceanStor MVX存儲系統(tǒng)(以下簡稱MVX)采用Scale-out架構(gòu),節(jié)點之間完全對稱,采用全Active的Share nothing方式,系統(tǒng)的數(shù)據(jù)和管理數(shù)據(jù)(元數(shù)據(jù))分布在各個節(jié)點上,避免了系統(tǒng)資源爭用,消除了系統(tǒng)瓶頸;即使出現(xiàn)整節(jié)點故障,系統(tǒng)能夠自動識別故障節(jié)點,自動恢復(fù)故障節(jié)點涉及的數(shù)據(jù)和元數(shù)據(jù),使故障對業(yè)務(wù)透明,完全不影響業(yè)務(wù)連續(xù)性。MVX支持3-288節(jié)點的彈性空間,100PB的全局統(tǒng)一命名空間,并且支持文件內(nèi)的細粒度的全局鎖,支持從多個節(jié)點并發(fā)訪問相同文件的不同區(qū)域,實現(xiàn)高并發(fā)讀,最終實現(xiàn)高性能的訪問系統(tǒng)。MVX系統(tǒng)采用全互聯(lián)組網(wǎng)機制,節(jié)點間采用10GE或者Infiniband高速互聯(lián),適配客戶不同的組網(wǎng)需求,支持從集群任何一個節(jié)點并發(fā)訪問系統(tǒng)中的任何文件。所以MVX通過節(jié)點的擴展來解決海量容量的增長,同時還能保持性能線性增長,以此滿足業(yè)務(wù)發(fā)展需求。
MVX系統(tǒng)對數(shù)據(jù)和元數(shù)據(jù)分開管理,這樣做帶來的好處,MVX可以在存儲容量不變的情況下,通過增加性能加速節(jié)點,進一步顯著提高系統(tǒng)對IO的響應(yīng)能力,最終向用戶提供卓越的性能。