虛擬存儲技術在視頻網絡中的應用

鄧永紅(湖南邵陽電視臺)

  視頻編輯、制作具有數(shù)據(jù)量存儲大、碼流高、實時性強、安全性重要等特點。這就要求應用于視頻領域的存儲技術和產品必須具有足夠的帶寬并且穩(wěn)定性要好。

  在單機應用時,為了保證一臺編輯站點有足夠的數(shù)據(jù)帶寬,SCSI技術、本地RAID技術(包括軟件和硬件)被廣泛應用。通過把若干個SCSI硬盤加上控制器組成一個大容量,快速響應,高可靠性的存儲子系統(tǒng),從用戶看可作為一個邏輯盤或者虛擬盤,從而大大提高了數(shù)據(jù)傳輸率和存儲容量,同時利用糾錯技術提高了存儲的可靠性。同時可滿足帶寬要求。

  隨著節(jié)目制作需求的發(fā)展,要求2—3臺站點共享編輯數(shù)據(jù)。這時可利用SCSI網絡技術實現(xiàn)這一要求。幾臺編輯站點均配置高性能的SCSI適配器,連接至共享的SCSI磁盤陣列,既可以實現(xiàn)幾個站點共享數(shù)據(jù),又可以保證每一臺單機的工作帶寬。

  光纖通道技術的成熟應用對視頻網絡的發(fā)展具有里程碑的意義,從此主機與共享存儲設備之間的連接距離限制從幾米、十幾米,擴展到幾百米、幾千米,再配合光纖通道交換設備,網絡規(guī)模得到幾倍、十幾倍的擴充。這時候的FC磁盤陣列——RAID容錯技術、相對SCSI的高帶寬、大容量,成為視頻網絡中的核心存儲設備。

  隨著電視臺規(guī)模的發(fā)展,全臺級大規(guī)模視頻網絡的應用被提出。在這種需求下,就必須將更先進的存儲技術與產品引入視頻領域。存儲區(qū)域網(SAN)的發(fā)展目前正處于全速上升期,各種概念層出不窮。其中具有劃時代意義的是虛擬存儲概念的提出。相對于傳統(tǒng)的交換機加RAID陣列,主機通過硬件層直接訪問陣列中的硬盤的SAN結構,虛擬存儲的定位是將數(shù)據(jù)存儲功能從實際的、物理的數(shù)據(jù)存取過程中抽象出來,使普通用戶在訪問數(shù)據(jù)時不必關心具體的存儲設備的配置參數(shù)、物理位置及容量,從而簡化用戶和系統(tǒng)管理人員的工作難度。

  目前虛擬存儲的發(fā)展尚無統(tǒng)一標準,從虛擬化存儲的拓撲結構來講主要有兩種方式:即對稱式與非對稱式。對稱式虛擬存儲技術是指虛擬存儲控制設備與存儲軟件系統(tǒng)、交換設備集成為一個整體,內嵌在網絡數(shù)據(jù)傳輸路徑中;非對稱式虛擬存儲技術是指虛擬存儲控制設備獨立于數(shù)據(jù)傳輸路徑之外。現(xiàn)在我們就從虛擬化存儲的拓撲結構來分析哪一種虛擬化存儲解決方案適用于視頻網絡。

  一、對稱式虛擬存儲

  在對稱式虛擬存儲結構圖中,存儲控制設備 High Speed Traffic Directors(HSTD)與存儲池子系統(tǒng)Storage Pool集成在一起,組成SAN Appliance。可以看到在該方案中存儲控制設備HSTD在主機與存儲池數(shù)據(jù)交換的過程中起到核心作用。該方案的虛擬存儲過程是這樣的:由HSTD內嵌的存儲管理系統(tǒng)將存儲池中的物理硬盤虛擬為邏輯存儲單元(LUN),并進行端口映射(指定某一個LUN能被哪些端口所見),主機端將各可見的存儲單元映射為操作系統(tǒng)可識別的盤符。當主機向SAN Appliance寫入數(shù)據(jù)時,用戶只需要將數(shù)據(jù)寫入位置指定為自己映射的盤符(LUN),數(shù)據(jù)經過HSTD的高速并行端口,先寫入高速緩存,HSTD中的存儲管理系統(tǒng)自動完成目標位置由LUN到物理硬盤的轉換,在此過程中用戶見到的只是虛擬邏輯單元,而不關心每個LUN的具體物理組織結構。該方案具有以下主要特點:

1.采用大容量高速緩存,顯著提高數(shù)據(jù)傳輸速度。

  緩存是存儲系統(tǒng)中廣泛采用的位于主機與存儲設備之間的I/O路徑上的中間介質。當主機從存儲設備中讀取數(shù)據(jù)時,會把與當前數(shù)據(jù)存儲位置相連的數(shù)據(jù)讀到緩存中,并把多次調用的數(shù)據(jù)保留在緩存中;當主機讀數(shù)據(jù)時,在很大幾率上能夠從緩存中找到所需要的數(shù)據(jù)。直接從緩存上讀出。而從緩存讀取數(shù)據(jù)時的速度只受到電信號傳播速度的影響(等于光速),因此大大高于從硬盤讀數(shù)據(jù)時盤片機械轉動的速度。當主機向存儲設備寫入數(shù)據(jù)時,先把數(shù)據(jù)寫入緩存中,待主機端寫入動作停止,再從緩存中將數(shù)據(jù)寫入硬盤,同樣高于直接寫入硬盤的速度

2.多端口并行技術,消除了I/O瓶頸。

  傳統(tǒng)的FC存儲設備中控制端口與邏輯盤之間是固定關系,訪問一塊硬盤只能通過控制它的控制器端口。在對稱式虛擬存儲設備中,SAN Appliance的存儲端口與LUN的關系是虛擬的,也就是說多臺主機可以通過多個存儲端口(最多8個)并發(fā)訪問同一個LUN;在光纖通道100MB/帶寬的大前提下,并行工作的端口數(shù)量越多,數(shù)據(jù)帶寬就越高。

3.邏輯存儲單元提供了高速的磁盤訪問速度。

  在視頻應用環(huán)境中,應用程序讀寫數(shù)據(jù)時以固定大小的數(shù)據(jù)塊為單位(從512byte到1MB之間)。而存儲系統(tǒng)為了保證應用程序的帶寬需求,往往設計為傳輸512byte以上的數(shù)據(jù)塊大小時才能達到其最佳I/O性能。在傳統(tǒng)SAN結構中,當容量需求增大時,唯一的解決辦法是多塊磁盤(物理或邏輯的)綁定為帶區(qū)集,實現(xiàn)大容量LUN。在對稱式虛擬存儲系統(tǒng)中,為主機提供真正的超大容量、高性能LUN,而不是用帶區(qū)集方式實現(xiàn)的性能較差的邏輯卷。與帶區(qū)集相比,Power LUN具有很多優(yōu)勢,如大塊的I/O block會真正被存儲系統(tǒng)所接受,有效提高數(shù)據(jù)傳輸速度;并且由于沒有帶區(qū)集的處理過程,主機CPU可以解除很大負擔,提高了主機的性能。

  4.成對的HSTD系統(tǒng)的容錯性能。

在對稱式虛擬存儲系統(tǒng)中,HSTD是數(shù)據(jù)I/O的必經之地,存儲池是數(shù)據(jù)存放地。由于存儲池中的數(shù)據(jù)具有容錯機制保障安全,因此用戶自然會想到HSTD是否有容錯保護。象許多大型存儲系統(tǒng)一樣,在成熟的對稱式虛擬存儲系統(tǒng)中,HSTD是成對配制的,每對HSTD之間是通過SAN Appliance內嵌的網絡管理服務實現(xiàn)緩存數(shù)據(jù)一致和相互通信的。

5.在SAN Appliance之上可方便的連接交換設備,實現(xiàn)超大規(guī)模Fabric結構的SAN。

二、非對稱式虛擬存儲系統(tǒng)

  網絡中的每一臺和虛擬存儲管理設備均連接到,其中主機的數(shù)據(jù)路徑通過FC交換設備到達磁盤陣列;虛擬存儲設備對網絡上連接的磁盤陣列進行虛擬化操作,將各存儲陣列中的LUN虛擬為邏輯帶區(qū)集(Strip),并對網絡上的每一臺主機指定對每一個Strip的訪問權限(可寫、可讀、禁止訪問)。當主機要訪問某個Strip時,首先要訪問虛擬存儲設備,讀取Strip信息和訪問權限,然后再通過交換設備訪問實際的Strip中的數(shù)據(jù)。在此過程中,主機只會識別到邏輯的Strip,而不會直接識別到物理硬盤。這種方案具有如下特點:

1.將不同物理硬盤陣列中的容量進行邏輯組合,實現(xiàn)虛擬的帶區(qū)集,將多個陣列控制器端口綁定,在一定程度上提高了系統(tǒng)的可用帶寬。

2.在交換機端口數(shù)量足夠的情況下,可在一個網絡內安裝兩臺虛擬存儲設備,實現(xiàn)Strip信息和訪問權限的冗余。

但是該方案存在如下一些不足:

1.該方案本質上是帶區(qū)集——磁盤陣列結構,一旦帶區(qū)集中的某個磁盤陣列控制器損壞,或者這個陣列到交換機路徑上的銅纜、GBIC損壞,都會導致一個虛擬的LUN離線,而帶區(qū)集本身是沒有容錯能力的,一個LUN的損壞就意味著整個Strip里面數(shù)據(jù)的丟失。

2.由于該方案的帶寬提高是通過陣列端口綁定來實現(xiàn)的,而普通光纖通道陣列控制器的有效帶寬僅在40MB/S左右,因此要達到幾百兆的帶寬就意味著要調用十幾臺陣列,這樣就會占用幾十個交換機端口,在只有一兩臺交換機的中小型網絡中,這是不可實現(xiàn)的。

3.由于各種品牌、型號的磁盤陣列其性能不完全相同,如果出于虛擬化的目的將不同品牌、型號的陣列進行綁定,會帶來一個問題:即數(shù)據(jù)寫入或讀出時各并發(fā)數(shù)據(jù)流的速度不同,這就意味著原來的數(shù)據(jù)包順序在傳輸完畢后被打亂,系統(tǒng)需要占用時間和資源去重新進行數(shù)據(jù)包排序整理,這會嚴重影響系統(tǒng)性能。

  以上從拓撲結構角度分析了對稱式與非對稱式虛擬存儲方案的異同,實際從虛擬化存儲的實現(xiàn)原理來將也有兩種方式;即數(shù)據(jù)塊虛擬與虛擬文件系統(tǒng)。

數(shù)據(jù)塊虛擬存儲方案著重解決數(shù)據(jù)傳輸過程中的沖突和延時問題。在多交換機組成的大型Fabric結構的SAN中,由于多臺主機通過多個交換機端口訪問存儲設備,延時和數(shù)據(jù)塊沖突問題非常嚴重。數(shù)據(jù)塊虛擬存儲方案利用虛擬的多端口并行技術,為多臺客戶機提供了極高的帶寬,最大限度上減少了延時與沖突的發(fā)生,在實際應用中,數(shù)據(jù)塊虛擬存儲方案以對稱式拓撲結構為表現(xiàn)形式。

  虛擬文件系統(tǒng)存儲方案著重解決大規(guī)模網絡中文件共享的安全機制問題。通過對不同的站點指定不同的訪問權限,保證網絡文件的安全。在實際應用中,虛擬文件系統(tǒng)存儲方案以對非稱式拓撲結構為表現(xiàn)形式。

  由以上分析可知,從拓撲結構來講,對稱式的方案具有更高的帶寬性能,更好的安全特性,因此比較適合大規(guī)模視頻網絡應用。非對稱式方案由于采用了虛擬文件原理,因此更適合普通局域網(如辦公網)的應用。

摘自《計算機世界》


微信掃描分享本文到朋友圈
掃碼關注5G通信官方公眾號,免費領取以下5G精品資料
  • 1、回復“YD5GAI”免費領取《中國移動:5G網絡AI應用典型場景技術解決方案白皮書
  • 2、回復“5G6G”免費領取《5G_6G毫米波測試技術白皮書-2022_03-21
  • 3、回復“YD6G”免費領取《中國移動:6G至簡無線接入網白皮書
  • 4、回復“LTBPS”免費領取《《中國聯(lián)通5G終端白皮書》
  • 5、回復“ZGDX”免費領取《中國電信5GNTN技術白皮書
  • 6、回復“TXSB”免費領取《通信設備安裝工程施工工藝圖解
  • 7、回復“YDSL”免費領取《中國移動算力并網白皮書
  • 8、回復“5GX3”免費領取《R1623501-g605G的系統(tǒng)架構1
  • 本周熱點本月熱點

     

      最熱通信招聘

      最新招聘信息