數(shù)據(jù)生命周期管理之存儲策略[圖]

前言

隨著通訊技術(shù)、移動互聯(lián)網(wǎng)、社交網(wǎng)絡、物聯(lián)網(wǎng)、云計算等技術(shù)的快速發(fā)展，現(xiàn)代社會已經(jīng)進入大數(shù)據(jù)時代。面對來源廣泛、數(shù)據(jù)巨大、形式多樣、內(nèi)容豐富的大數(shù)據(jù)，為了更加有效應對市場激烈競爭，企業(yè)開始意識到數(shù)據(jù)價值并且通過建立大數(shù)據(jù)平臺、數(shù)據(jù)中心、數(shù)據(jù)倉庫等系統(tǒng)，從不同角度去挖掘數(shù)據(jù)的價值。當然隨著企業(yè)業(yè)務發(fā)展以及各種平臺、系統(tǒng)的建立也意味著需要管理的數(shù)據(jù)量越來越龐大，資源維護成本越來越高，效率越來越低。

面對企業(yè)對數(shù)據(jù)的不同時效、不同訪問頻率、不同重要性等要求，如何判定數(shù)據(jù)是否有維護的必要性，如何降低數(shù)據(jù)維護成本，提高數(shù)據(jù)服務水平是進行數(shù)據(jù)生命周期管理主要解決的問題。

管理目標

數(shù)據(jù)生命周期管理通過制定合理的管理制度、組織架構(gòu)以及對應的技術(shù)規(guī)范，協(xié)調(diào)各流程制度、技術(shù)規(guī)范的有效運行，從而提升數(shù)據(jù)服務水平與數(shù)據(jù)使用效率，從而實現(xiàn)降低成本、提高效率的目標。數(shù)據(jù)存儲和備份規(guī)范是保障和基礎(chǔ)，數(shù)據(jù)管理和維護是執(zhí)行方法，通過高效的數(shù)據(jù)管理和維護效率，從而不斷提升數(shù)據(jù)服務水平。

數(shù)據(jù)生命周期管理涉及生命周期相關(guān)的管理制度以及數(shù)據(jù)存儲備份策略的規(guī)范制定，以下主要從技術(shù)的層面講述如何制定數(shù)據(jù)生命周期的數(shù)據(jù)存儲策略。

存儲策略框架

數(shù)據(jù)生命周期管理框架由數(shù)據(jù)歸類、數(shù)據(jù)特性分析與數(shù)據(jù)存儲策略三部分組成。數(shù)據(jù)存儲框架首先對數(shù)據(jù)進行歸類，在數(shù)據(jù)歸類的基礎(chǔ)上結(jié)合業(yè)務與系統(tǒng)實際情況，分析數(shù)據(jù)特性，最后根據(jù)現(xiàn)狀調(diào)研、數(shù)據(jù)歸類與數(shù)據(jù)特性制定數(shù)據(jù)生命周期存儲策略，從而保障數(shù)據(jù)存儲策略能夠更加符合業(yè)務、系統(tǒng)的實際需求，有效的發(fā)揮數(shù)據(jù)生命周期管理的價值。

數(shù)據(jù)歸類

從數(shù)據(jù)生命周期管理視角，結(jié)合業(yè)界的相關(guān)標準規(guī)范，對企業(yè)IT系統(tǒng)的數(shù)據(jù)進行歸類。目前根據(jù)系統(tǒng)的業(yè)務特點，比較流行的數(shù)據(jù)歸類包括：生產(chǎn)交易型數(shù)據(jù)、服務支撐型數(shù)據(jù)與系統(tǒng)數(shù)據(jù)三部分。

1 生產(chǎn)交易型數(shù)據(jù)

生產(chǎn)交易型數(shù)據(jù)就是企業(yè)各IT支撐系統(tǒng)所產(chǎn)生、使用的數(shù)據(jù)，該類數(shù)據(jù)主要分布在業(yè)務支撐系統(tǒng)、管理支撐系統(tǒng)，如業(yè)務支撐系統(tǒng)、客戶關(guān)系管理系統(tǒng)、ERP系統(tǒng)、電子渠道系統(tǒng)等。目前生成交易型的數(shù)據(jù)主流的數(shù)據(jù)歸類為：客服域、資源域、企業(yè)管理域、營銷域、產(chǎn)品域等。該部分數(shù)據(jù)的歸類方式主要參考TMF（電信管理論壇）的SID（共享信息模型）分類標準，具體在制定過程中企業(yè)可以根據(jù)具體的業(yè)務以及系統(tǒng)特點進行實際的分類。

2 服務支撐型數(shù)據(jù)

服務支撐型數(shù)據(jù)是指從各個生產(chǎn)系統(tǒng)收集的數(shù)據(jù)、經(jīng)沉淀加工挖掘后形成的信息數(shù)據(jù)，該類數(shù)據(jù)主要分布在提供數(shù)據(jù)服務、數(shù)據(jù)支撐的IT平臺中，如數(shù)據(jù)倉庫、數(shù)據(jù)中心、數(shù)據(jù)集市等。該類數(shù)據(jù)按照數(shù)據(jù)倉庫數(shù)據(jù)分層的原則分為：原型數(shù)據(jù)、明細數(shù)據(jù)、匯總數(shù)據(jù)、應用數(shù)據(jù)。

3 系統(tǒng)數(shù)據(jù)

系統(tǒng)數(shù)據(jù)是面向IT開發(fā)過程所產(chǎn)生的數(shù)據(jù)，該類數(shù)據(jù)不直接被業(yè)務所需要，但是又占用相應的存儲空間。在數(shù)據(jù)歸類過程中很容易遺漏此類數(shù)據(jù)，然而眾多系統(tǒng)實際情況表明，該類數(shù)據(jù)如果不有效管理將會嚴重影響系統(tǒng)的運行效率。系統(tǒng)數(shù)據(jù)主要包括：程序軟件、日志數(shù)據(jù)、過程數(shù)據(jù)和臨時數(shù)據(jù)等。

數(shù)據(jù)特性

根據(jù)數(shù)據(jù)歸類，不同類別的數(shù)據(jù)有不同的數(shù)據(jù)特性。從數(shù)據(jù)生命周期視角數(shù)據(jù)特性主要包括數(shù)據(jù)重要性、訪問頻率、訪問性能要求、數(shù)據(jù)量等。具體在進行數(shù)據(jù)特性分類過程中，企業(yè)可以根據(jù)實際情況進行特性歸類。

重要性：在業(yè)務使用過程中按照數(shù)據(jù)的重要程度進行歸類，數(shù)據(jù)分成不同的重要級別。

訪問頻率:在系統(tǒng)運行過程中，依據(jù)數(shù)據(jù)的訪問頻率，對數(shù)據(jù)進行歸類。通過不同的訪問頻率定義不同的存儲策略。

訪問性能要求 ：根據(jù)業(yè)務部門需求，對于不同數(shù)據(jù)需要提供不同的訪問性能支持。通過不同訪問性能需要定義不同存儲策略。

數(shù)據(jù)量：在系統(tǒng)運行過程中，數(shù)據(jù)以月/日為單位，按照數(shù)據(jù)量的大小，提供不同的存儲策略。

數(shù)據(jù)存儲策略

數(shù)據(jù)存儲策略就是將不同的數(shù)據(jù)存在制定的存儲設備上。目前主要的存儲設備主要分成在線存儲、近線存儲、歸檔存儲，三種常用存儲。

1 在線存儲

在線存儲又稱工作級的存儲，存儲設備和所存儲的數(shù)據(jù)時刻保持隨時響應狀態(tài)，可以實時讀寫的，可滿足計算平臺對數(shù)據(jù)訪問的速度要求。

一般在線存儲設備通常為內(nèi)置磁盤和高端磁盤陣列等磁盤設備，價格相對昂貴，性能最好。

2 近線存儲

近線存儲定位于在線存儲和離線存儲之間的應用，對性能要求相對來說并不高，但又提供相對較好的讀取性能。近線存儲策略一般采用中低端磁盤陣列設備，并輔以高壓縮軟件，滿足快速讀寫等訪問動作。

3 歸檔存儲

數(shù)據(jù)歸檔是將不再經(jīng)常使用的數(shù)據(jù)移到一個單獨的存儲設備來進行長期保存的過程，對涉及的數(shù)據(jù)進行離線存儲，以備非常規(guī)查詢等。歸檔設備一般采用磁帶庫、光盤庫，以及大容量低端磁盤陣列，價格相對低廉。

存儲策略的制定除了滿足業(yè)務需要之外，還需要考慮存儲成本，制定合理的存儲策略。例如：生成交易型數(shù)據(jù)中客服數(shù)據(jù)，其數(shù)據(jù)特點主要是數(shù)據(jù)重要性高、訪問頻率搞、數(shù)據(jù)量較小，可以采用在線存儲；服務支撐型中的原型數(shù)據(jù)，其數(shù)據(jù)特點主要是數(shù)據(jù)重要性不高、訪問頻率不高、數(shù)據(jù)量大，可以采用近線存儲。

小結(jié)

數(shù)據(jù)生命周期管理中，數(shù)據(jù)存儲策略的制定除了理論上需要正確的指導，更重要的是在制定過程中進行大量實際業(yè)務需求、系統(tǒng)現(xiàn)狀的調(diào)研。在理論指導下結(jié)合實際情況制定出符合企業(yè)實際情況的存儲策略。

數(shù)據(jù)生命周期管理是涉及組織架構(gòu)、流程制度、技術(shù)規(guī)范、系統(tǒng)支撐組成的管理體系，。存儲策略制定只是數(shù)據(jù)生命周期管理中技術(shù)規(guī)范部分，如何協(xié)調(diào)生命周期管理中相關(guān)組織架構(gòu)、流程制度保障存儲策略有效的制定才是數(shù)據(jù)生命周期管理成功與否的關(guān)鍵。后續(xù)將會探討如何制定數(shù)據(jù)生命周期管理中相關(guān)流程制度、組織架構(gòu)以及系統(tǒng)支撐方面的相關(guān)內(nèi)容。

作者：從興技術(shù)有限公司 高級顧問 肖清源 來源：廠商供稿