【資料名稱】：如何用Analyzer分析海量數(shù)據(jù)

【資料作者】：laiss

【資料日期】：2011-05-13

【資料語言】：中文

【資料格式】：DOC

【資料目錄和簡介】：

在Analyzer 中直接處理路測數(shù)據(jù)，由于占用內存較多，我們經常會遇到難以順利處理海量
數(shù)據(jù)的困難。那么是否Analyzer 中就無法處理海量數(shù)據(jù)了呢？其實不是，在Analyzer 中，有
多種方法來解決這個問題，下邊介紹的方法就是最常用的方案之一。
為了避免過多占用內存，Analyzer 設計了名為Repository（數(shù)據(jù)倉庫）的功能，也就是將
數(shù)據(jù)存儲在硬盤上的數(shù)據(jù)庫文件中，從而可以實現(xiàn)大數(shù)據(jù)量的處理。
對于海量數(shù)據(jù)的處理，我們應該認識到其核心問題就是對兩個問題的處理：參數(shù)的選擇和
數(shù)據(jù)平均方式的選擇。對于海量數(shù)據(jù)而言，如果我們對所處理的參數(shù)不加選擇，對于每一個
數(shù)據(jù)點也不加平均，那么這個“海量數(shù)據(jù)”是沒有意義的；大數(shù)據(jù)量的意義就在于能夠從統(tǒng)
計意義上反映網絡現(xiàn)狀。
所以，我們對Repository 的使用，其核心問題就是對參數(shù)的選擇和對數(shù)據(jù)平均方式的選擇
這兩個問題。