華為OceanStor MVX存儲系統(tǒng)技術(shù)漫談一

相關(guān)專題: 華為 大數(shù)據(jù)

  大數(shù)據(jù)時代,用戶處理的數(shù)據(jù)量越來越大,需要的容量越來越大;保存的數(shù)據(jù)越來越多樣越來越復(fù)雜,包括不同的來源,不同的格式,包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)等;需要的訪問速度越來越高,訪問延遲越來越低;對數(shù)據(jù)價值的挖掘能力要求越來越高。

  根據(jù)Gartner的分析,滿足大數(shù)據(jù)的IT架構(gòu),至少應(yīng)具備下面幾個特征

  1) 橫向擴展: 可以線性橫向擴展而沒有性能影響

  2) 低成本組件:通過使用消費級硬件,降低采購成本

  3) 高可用:硬件故障作為常態(tài)而非特例來解決

  4) 不共享架構(gòu):節(jié)點之間相互獨立

  我們以此為基礎(chǔ),逐步揭開MVX的面紗。

  Scale-up or Scale-out

  傳統(tǒng)的NAS設(shè)備一般使用雙控制器節(jié)點提供服務(wù),每個節(jié)點支持特定的業(yè)務(wù)負載,當(dāng)容量不夠時通過擴展磁盤框的方式增加存儲容量。這種方式的缺陷在于,首先業(yè)務(wù)和節(jié)點的綁定,意味著一個業(yè)務(wù)及其關(guān)聯(lián)的文件系統(tǒng)只在一個節(jié)點上工作,容易造成系統(tǒng)整體的負載不均。其次,這種系統(tǒng)本質(zhì)上是Scale-up的擴容方式,追求單機性能,無法做到系統(tǒng)性能隨容量的增加線性增加。Scale-Out方式則是橫向擴展,疊加容量或性能節(jié)點,使容量性能得到擴展。

  華為OceanStor MVX存儲系統(tǒng)(以下簡稱MVX)采用Scale-out架構(gòu),節(jié)點之間完全對稱,采用全Active的Share nothing方式,系統(tǒng)的數(shù)據(jù)和管理數(shù)據(jù)(元數(shù)據(jù))分布在各個節(jié)點上,避免了系統(tǒng)資源爭用,消除了系統(tǒng)瓶頸;即使出現(xiàn)整節(jié)點故障,系統(tǒng)能夠自動識別故障節(jié)點,自動恢復(fù)故障節(jié)點涉及的數(shù)據(jù)和元數(shù)據(jù),使故障對業(yè)務(wù)透明,完全不影響業(yè)務(wù)連續(xù)性。MVX支持3-288節(jié)點的彈性空間,100PB的全局統(tǒng)一命名空間,并且支持文件內(nèi)的細粒度的全局鎖,支持從多個節(jié)點并發(fā)訪問相同文件的不同區(qū)域,實現(xiàn)高并發(fā)讀,最終實現(xiàn)高性能的訪問系統(tǒng)。MVX系統(tǒng)采用全互聯(lián)組網(wǎng)機制,節(jié)點間采用10GE或者Infiniband高速互聯(lián),適配客戶不同的組網(wǎng)需求,支持從集群任何一個節(jié)點并發(fā)訪問系統(tǒng)中的任何文件。所以MVX通過節(jié)點的擴展來解決海量容量的增長,同時還能保持性能線性增長,以此滿足業(yè)務(wù)發(fā)展需求。

  MVX系統(tǒng)對數(shù)據(jù)和元數(shù)據(jù)分開管理,這樣做帶來的好處,MVX可以在存儲容量不變的情況下,通過增加性能加速節(jié)點,進一步顯著提高系統(tǒng)對IO的響應(yīng)能力,最終向用戶提供卓越的性能。

1  2  

微信掃描分享本文到朋友圈
掃碼關(guān)注5G通信官方公眾號,免費領(lǐng)取以下5G精品資料
  • 1、回復(fù)“YD5GAI”免費領(lǐng)取《中國移動:5G網(wǎng)絡(luò)AI應(yīng)用典型場景技術(shù)解決方案白皮書
  • 2、回復(fù)“5G6G”免費領(lǐng)取《5G_6G毫米波測試技術(shù)白皮書-2022_03-21
  • 3、回復(fù)“YD6G”免費領(lǐng)取《中國移動:6G至簡無線接入網(wǎng)白皮書
  • 4、回復(fù)“LTBPS”免費領(lǐng)取《《中國聯(lián)通5G終端白皮書》
  • 5、回復(fù)“ZGDX”免費領(lǐng)取《中國電信5GNTN技術(shù)白皮書
  • 6、回復(fù)“TXSB”免費領(lǐng)取《通信設(shè)備安裝工程施工工藝圖解
  • 7、回復(fù)“YDSL”免費領(lǐng)取《中國移動算力并網(wǎng)白皮書
  • 8、回復(fù)“5GX3”免費領(lǐng)取《R1623501-g605G的系統(tǒng)架構(gòu)1
  • 本周熱點本月熱點

     

      最熱通信招聘

      最新招聘信息