相關專題：
數據是市場研究業(yè)務處理的主要目標，所以以數據處理流程來定義市場研究業(yè)務處理流程的關鍵環(huán)節(jié)，會更準確和直觀。在后文說明中，傳統(tǒng)模式代表傳統(tǒng)業(yè)務形態(tài)（問卷調研等非大數據源+傳統(tǒng)分析方法論）的數據處理流程，大數據模式代表大數據源+全部方法論（傳統(tǒng)方法論+大數據方法論）的處理流程。
1 基本業(yè)務環(huán)節(jié)的變化
首先我們來看一下數據業(yè)務流程在兩種模式下的變化。
從上圖可以發(fā)現，大數據下的業(yè)務流程，相比傳統(tǒng)模式，總體上有兩點重要的變化：
(1)數據融合代替數據收集，將成為數據來源的主要模式。傳統(tǒng)模式下，數據來源更多是研究公司自身采集（如問卷）或者客戶采集后提供，所以采集是核心。在大數據模式下，研究公司自身能力和資源有限，將會更多通過非采集方式（如各種外部渠道數據引入/交換，并進行整合）獲得分析的數據，此時融合是核心問題。
(2)數據管理能力成為一個新的要求。傳統(tǒng)模式因為業(yè)務數據量小，基本不存在對數據管理的較多要求，所以可以忽略。但大數據場景下，數據規(guī)模大而且多樣，且常常比較分散，其統(tǒng)一的管理（如存儲和檢索等）能力，是后續(xù)業(yè)務環(huán)節(jié)順利進行的基礎，有必要得到更多的重視。
為了更深入的理解業(yè)務環(huán)節(jié)的變化，下面將對每個環(huán)節(jié)，進行更深入的討論。
2 各業(yè)務環(huán)節(jié)的變化
為了便于說明，將兩種模式下的流程進行統(tǒng)一，整個業(yè)務流規(guī)范為了五個環(huán)節(jié)。下圖簡要說明了各環(huán)節(jié)下兩種模式各自在實施上的特點。
（1）數據融合/采集
傳統(tǒng)模式下，數據采集的方式主要是問卷、座談會等。這是一種小規(guī)模的采樣，且對目標有直接影響（有交互）。數據本質是某個時間點的靜態(tài)、快照式的截面數據，維度受采集方式所限也不可能太多。
而大數據下，數據融合代替采集成為市場研究獲取數據的主要方式，此時數據同步和ETL成為主要方式。在最初的源數據采集中，行為日志記錄、網絡Spider抓取、移動互聯網App基于Sdk采集等成為主要手段。這類方式仍然可認為是采樣（不過更大的規(guī)模），但作為一種監(jiān)聽/探針式的模式，用戶不會感知和受影響（所以數據會更加符合實際情況）。采集的數據在時間和空間上多是動態(tài)和持續(xù)性的，可記錄的維度也會大很多。
（2）數據管理
傳統(tǒng)模式下，數據通常為標準的結構化數據，且規(guī)模小（通常萬級以下），此時pc單機的普通文檔（如Csv,Excel之類）足以勝任所有存儲和檢索要求。特定應用，百萬級的數據量用小型數據庫也都足夠。所以此時數據管理一直被忽略。
在大數據環(huán)境下，數據量起點在億級以上，比傳統(tǒng)模式增加了成千上萬倍，格式也更加多樣，數據的管理難度幾何級數增加，原有方式已經無能為力。此時，新的技術體系（多機、分布式文件系統(tǒng)/海量數據庫）和專業(yè)架構人員，確保了大數據的安全管理和快速檢索。相比之前，研究企業(yè)需要在該方面做出相當大的投入。
（3）數據計算
傳統(tǒng)模式下，計算主要是各種統(tǒng)計學的計算（比如總計/方差/均值…）為主，計算量不大，工具以Excel到SPSS、SAS為主流，處理多由DP完成。此時DP人員更多是研究業(yè)務的輔助支持。
在大數據模式下，數據規(guī)模、維度和分析方法的變化對計算的要求大大加強。傳統(tǒng)的統(tǒng)計性計算仍然需要，但更大的變化是：計算工作更多樣化、更高復雜度和更具專業(yè)性，且與分析更深入的結合。許多新的計算理論成為主角，比如對網絡非結構化文本數據使用自然語言處理，大數據挖掘的機器學習處理（大部分是高維度向量計算），而社交網絡計算更多是圖計算。這些新的計算理論和方法，極大擴展了大數據分析洞察的能力，但也對相關人員的專業(yè)能力提出了很高的要求。
（4）分析
分析是研究過程中最重要的環(huán)節(jié)。傳統(tǒng)模式下，研究人員主要根據傳統(tǒng)方法論，對DP人員生成的指標性數據，考察全局性的分布/差異，歷史的變化等。
大數據模式下，除了傳統(tǒng)方法論的分析外，更多使用大數據方法論的思路（更關注個體，比如如何給用戶打標簽、個體/群體的匹配度是多少，對未來發(fā)展的預測期望）。同時，由于分析主要基于各種專業(yè)計算的結果，而研究人員并不具備相關技能，因此必須與專業(yè)IT技術專家緊密配合，才可能完成有價值的分析。此時，相關IT專家成為本階段最重要的參與者。
（5）結論與呈現
傳統(tǒng)模式下，研究結論關注的是統(tǒng)計性指標的變化，對相關原因分析和建議是重要的內容。結果更多是通過專項報告（以文檔而不是系統(tǒng)平臺）形式，在呈現方式上多采用表格和基本圖表。
大數據模式下，既有傳統(tǒng)的統(tǒng)計性結論，也有更多大數據方法論，比如基于個體特性之上的群體特性標簽化描述。結果更多地通過在線化系統(tǒng)來展示，新的可視化技術，在大數據的分析和結果展示上，越來越受到重視。
通過上面各環(huán)節(jié)的比較可以發(fā)現：在新的大數據業(yè)務生態(tài)下，市場研究的業(yè)務流程
（1） 各環(huán)節(jié)的方式和支撐方法，都有較大的擴展/變化
（2） IT技術能力（數據管理與專業(yè)數據計算分析能力），成為大數據業(yè)務實現過程中最重要的推動因素。
HCR(慧辰資訊)近半年來，已經在相關環(huán)節(jié)進行了積極有效的調整和提升。市場研究公司業(yè)務產品各有所長，業(yè)務模式也不盡相同，所以對于大數據業(yè)態(tài)下的發(fā)展思路也不會完全一致。建議從自身的大數據業(yè)務規(guī)劃出發(fā)，結合現有情況，有針對性的調整和改進現有業(yè)務流程，以更好的適應未來大數據業(yè)務的發(fā)展。
在相關調整中，IT技術資源是傳統(tǒng)研究公司最需要投入的環(huán)節(jié)。考慮大數據業(yè)務下相關資源（軟硬件和團隊）投入較大且專業(yè)性強，筆者后續(xù)將結合市場研究領域的業(yè)務特點，對市場研究涉及的大數據領域相關的主要技術理論、應用場景與常用的工具資源，專文進行說明。
作者：HCR(慧辰資訊) 馬亮
