【資料名稱】：sybaseIQ

【資料作者】：度娘

【資料日期】：0107

【資料語言】：中文

【資料格式】：DOC

【資料目錄和簡介】：

Sybase IQ是Sybase公司推出的特別為數(shù)據(jù)倉庫設(shè)計的關(guān)系型數(shù)據(jù)庫。IQ的架構(gòu)與大多數(shù)關(guān)系型數(shù)據(jù)庫不同，它特別的設(shè)計用以支持大量并發(fā)用戶的即時查詢。其設(shè)計與執(zhí)行進(jìn)程優(yōu)先考慮查詢性能，其次是完成批量數(shù)據(jù)更新的速度。而傳統(tǒng)關(guān)系型數(shù)據(jù)庫引擎的設(shè)計既考慮在線的事務(wù)進(jìn)程又考慮數(shù)據(jù)倉庫（而事實上，往往更多的關(guān)注事務(wù)進(jìn)程）。
列存儲
　　IQ以列存儲數(shù)據(jù)，而不是行——這與其他所有關(guān)系型數(shù)據(jù)庫引擎廣泛使用的存儲方法方向相反。在其他關(guān)系型數(shù)據(jù)庫內(nèi)核中，數(shù)據(jù)庫的一張表典型的表示為一條數(shù)據(jù)庫頁鏈，每一數(shù)據(jù)頁中有一行或多行數(shù)據(jù)記錄。在數(shù)據(jù)倉庫應(yīng)用中，從查詢性能的觀點出發(fā)，這種存儲方式是所有可能的數(shù)據(jù)存儲方式中最不可取的。在IQ中，每張表是一組相互獨立的頁鏈的集合，每一頁鏈代表表中的一列。所以有100 列的表將有100 條相互獨立的頁鏈，每一列都有一條頁鏈與之對應(yīng)，而不是象其他數(shù)據(jù)庫引擎，一張表對應(yīng)一條頁鏈。列存儲所固有的優(yōu)越性在于：大多數(shù)數(shù)據(jù)倉庫應(yīng)用的查詢只關(guān)心表中所有列的一個很小的子集，從而可以以很少的磁盤I/O得到查詢結(jié)果�，F(xiàn)在考慮這樣一個例子，假設(shè)我們要得到所有生日在七月份的客戶的名字和電子郵件地址。 　　在一個典型的OLTP數(shù)據(jù)庫引擎中，查詢優(yōu)化器將根據(jù)返回行的百分比（如1/12，在本例中，假設(shè)各月的生日都基本平均）來決定是否值得在該列上使用索引。因此，典型的數(shù)據(jù)庫引擎對該查詢可能會做全表的掃描。為了對掃描的成本做一估算，我們假設(shè)每個客戶的行記錄為3200個字節(jié)，共有1000萬個條記錄。因此，表掃描必須讀取320億個字節(jié)的數(shù)據(jù)。 　　IQ數(shù)據(jù)庫引擎可以只讀取查詢所需的列。在本例中，有三個相關(guān)的列：全名、電子郵件地址和出生日期。假設(shè)全名為25個字節(jié)，電子郵件地址為25個字節(jié)，出生日期為4個字節(jié)（日期以二進(jìn)制做內(nèi)部編碼）。那么IQ 只需要讀取5400萬個字節(jié)的數(shù)據(jù)——大約減少了59倍！
數(shù)據(jù)壓縮
　　傳統(tǒng)的數(shù)據(jù)庫引擎不能以一種通用的方式進(jìn)行數(shù)據(jù)壓縮，主要是由于存在以下三個問題： 　　1. 第一個問題是其按行存儲的數(shù)據(jù)存儲方式不利于壓縮。這是因為數(shù)據(jù)（大多為二進(jìn)制數(shù)據(jù)）在以這種方式存儲時重復(fù)并不多。我們發(fā)現(xiàn)，按行存儲的數(shù)據(jù)，最多能有5-10%的壓縮比例； 　　2. 第二個問題是對于許多的2K 和4K 的二進(jìn)制數(shù)據(jù)的頁來說，為壓縮和解壓縮而增加的開銷太大； 　　3. 第三個問題是在OLTP 環(huán)境中，大量讀取和更新混雜在一起。每一次更新需要進(jìn)行壓縮操作，而讀取只需解壓縮操作，大多數(shù)的數(shù)據(jù)壓縮算法在壓縮時比解壓縮時慢4 倍。這一開銷將明顯降低OLTP 數(shù)據(jù)庫引擎的事務(wù)處理效率而使得數(shù)據(jù)壓縮的代價昂貴到幾乎不能忍受。 　　在數(shù)據(jù)倉庫應(yīng)用中，數(shù)據(jù)壓縮可以用小得多的代價換取更大好處。其中包括減少對于存儲量的要求；增大數(shù)據(jù)吞吐量，這相當(dāng)于減少查詢響應(yīng)時間。 　　Sybase IQ使用了數(shù)據(jù)壓縮。這是由于數(shù)據(jù)按列存儲，相鄰的字段值具有相同的數(shù)據(jù)類型，其二進(jìn)制值的范圍通常也要小得多，所以壓縮更容易，壓縮比更高。Sybase IQ 對列存儲的數(shù)據(jù)通常能得到大于50%的壓縮。更大的壓縮比例，加上大頁面I/O，使得Sybase IQ 在獲得優(yōu)良的查詢性能的同時，減少了對存儲空間的需求。編輯本段Sybase IQ獨特的優(yōu)勢　　面描述了IQ獨特的技術(shù)特征所帶來的一些關(guān)鍵的應(yīng)用效果。 　　查詢效果—瞬間響應(yīng) 　　IQ通過列存儲、革命性的位圖索引方法以及智能的動態(tài)訪問技術(shù)實現(xiàn)了快速的查詢響應(yīng)速度，比傳統(tǒng)的數(shù)據(jù)庫查詢速度提高10-1000倍。這主要表現(xiàn)在如下幾個方面： 　　減少磁盤I/OSybase IQ通過獨特的列存儲，索引與壓縮技術(shù)，大大減少了查詢中的磁盤I/O次數(shù)，其杰出的磁盤I/O效果帶來了更快速的查詢反應(yīng)，更高的吞吐量和更低的成本。并行列處理IQ支持列向量的并行處理，這樣，在查詢中，大量的列向量將被并行掃描，從而達(dá)到顯著降低響應(yīng)時間的目的。 智能優(yōu)化IQ允許在每個列上建立多個索引，IQ查詢優(yōu)化器在不同的使用情況下為查詢選擇不同的索引。提高Cache命中率大多數(shù)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫執(zhí)行決策支持類型的查詢時會進(jìn)行表掃描。表掃描使Cache 命中率降低。列存儲方式使Cache命中率大大提高，查詢響應(yīng)加快。IQ 并行結(jié)構(gòu)對多用戶查詢的性能影響 　　大多數(shù)傳統(tǒng)數(shù)據(jù)庫采用的并行表掃描方法在一個大型SMP上只有一個用戶的情況下，效果是最好的，但在多用戶查詢環(huán)境中的性能會大打折扣。原因是現(xiàn)在的大多數(shù)SMP 系統(tǒng)只能同時支持一至兩個大型的并行表掃描，如果掃描數(shù)量增加，不是CPU 資源不夠，就是耗盡了I/O 總線的帶寬。每一個表的掃描同時也使數(shù)據(jù)庫緩沖完全失效，因為大多數(shù)大型數(shù)據(jù)倉庫應(yīng)用的表掃描都遠(yuǎn)大于物理緩沖區(qū)的存儲能力。IQ獨特的并行結(jié)構(gòu)可以在大量的并發(fā)查詢情況下提供優(yōu)秀的查詢性能。 　　存儲效果—節(jié)約存儲成本 　　智能壓縮技術(shù)，與精巧的索引結(jié)構(gòu)和列存儲結(jié)合，IQ比其他數(shù)據(jù)庫引擎擁有更好的存儲效果。這將獲得更低的存儲成本與更高的查詢性能（因為系統(tǒng)僅需很少的磁盤I/O讀取或?qū)懭肴魏谓o定的數(shù)據(jù)庫塊）。 　　在傳統(tǒng)的數(shù)據(jù)庫中，為提高查詢性能所建的索引占用的磁盤空間往往需要比數(shù)據(jù)本身需要的磁盤空間多出3-10倍。而Sybase IQ 存儲數(shù)據(jù)所占用的磁盤空間通常只是原數(shù)據(jù)文件的40%-60%，是傳統(tǒng)數(shù)據(jù)庫所占用空間的幾分之一。 　　數(shù)據(jù)加載—更高效率 　　數(shù)據(jù)加載，包括向一個現(xiàn)有的數(shù)據(jù)倉庫中增加數(shù)據(jù)，其加載效率大大高于傳統(tǒng)的數(shù)據(jù)庫。這是因為IQ的列存儲、列并行處理與索引技術(shù)，為快速批量數(shù)據(jù)加載時提供了強大的技術(shù)保證。 　　如果在數(shù)據(jù)加載時考慮索引的增量式加載，大多數(shù)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在數(shù)據(jù)的增量式加載方面都存在嚴(yán)重的問題。這就是說，如果你一次裝入了100GB 的原始數(shù)據(jù)并在其上創(chuàng)建了索引，再在此基礎(chǔ)上增加100MB 或幾個GB 的數(shù)據(jù)都會非常非常慢，以至于如果先刪除所有的索引，再裝入增加的數(shù)據(jù)，然后重新對整個數(shù)據(jù)庫創(chuàng)建索引反而會快一點。 　　Sybase IQ 在裝入第二個100MB 或100GB 的時候的速度幾乎與裝入第一批數(shù)據(jù)一樣快。這就給最終用戶帶來的更大的靈活性。Sybase IQ 使得索引的開銷大大降低，并提供了一個新的開發(fā)環(huán)境，在這樣的開發(fā)環(huán)境中，索引的使用可以比過去任何時候更充分。 　　可擴展性 　　Sybase IQ的設(shè)計允許數(shù)據(jù)倉庫從基礎(chǔ)開始擴展，從很小擴展到非常巨大的規(guī)模。這一點已經(jīng)完全被驗證，（詳細(xì)情況請參考全球最大的數(shù)據(jù)倉庫——企業(yè)數(shù)據(jù)倉庫參考架構(gòu)一節(jié)）以及基準(zhǔn)測試報告。 　　可擴展性對Sybase IQ而言，舉重若輕，你可以從一個小型的數(shù)據(jù)倉庫開始，擴展到大型的數(shù)據(jù)倉庫。也可以從大型開始擴展到超大型的數(shù)據(jù)倉庫。 　　大幅降低總擁有成本 　　正如上面所述，Sybase IQ大大節(jié)約了數(shù)據(jù)存儲成本，而且通過其強大的可擴展性為企業(yè)提供了靈活的選擇。 　　另外，IQ比傳統(tǒng)的數(shù)據(jù)庫更容易維護(hù)，不需要經(jīng)常的人工調(diào)優(yōu)，簡單的擴展實現(xiàn)，快速的部署時間等等都大幅降低了企業(yè)開發(fā)數(shù)據(jù)倉庫的總擁有成本。

[ 本帖最后由 andy156256 于 2013-1-7 20:32 編輯 ]