探討的場(chǎng)景：

1、數(shù)據(jù)源：取出大量指標(biāo)或其他需要計(jì)算統(tǒng)計(jì)的原始數(shù)據(jù)文件（txt、csv等類型），幾十或幾百個(gè)甚至更多，當(dāng)前這個(gè)例子為小時(shí)級(jí)的小區(qū)指標(biāo)文件；
2、存在的問(wèn)題，很難再短時(shí)間內(nèi)對(duì)大量的數(shù)據(jù)計(jì)算出需要需要的結(jié)果；
需求：取出每個(gè)月，每個(gè)小區(qū)<最大RRC連接數(shù)>的最大的三天數(shù)據(jù)和其對(duì)應(yīng)的其他指標(biāo)；（迭代分組取TOPN的問(wèn)題）
即：
第一次分組計(jì)算：取出每個(gè)小區(qū)每天24小時(shí)中，哪個(gè)時(shí)段的<最大RRC連接數(shù)>的值最大，并記錄下這個(gè)時(shí)段（即自忙時(shí)）；
第二次分組計(jì)算：以第一次分組結(jié)算的結(jié)果，作為數(shù)據(jù)源，取每個(gè)月中，每個(gè)小區(qū)<最大RRC連接數(shù)>最大的前三天對(duì)應(yīng)的指標(biāo)數(shù)據(jù)；
3、解決方案：

對(duì)于數(shù)據(jù)量比較大的場(chǎng)景，使用單機(jī)關(guān)系型數(shù)據(jù)庫(kù)實(shí)現(xiàn)迭代分組的功能，耗時(shí)較長(zhǎng)，有興趣的朋友可以嘗試一下，oracle里面的開窗函數(shù)可以解決此類場(chǎng)景的問(wèn)題，但是具體性能如何，沒(méi)有嘗試過(guò)。單機(jī)mysql貌似沒(méi)有能夠有高性能的解決方案，我自己嘗試過(guò)好幾種寫法，都無(wú)法避免索引失效導(dǎo)致的全表掃描問(wèn)題；但無(wú)論如何，文件導(dǎo)入數(shù)據(jù)庫(kù)的過(guò)程必然耗費(fèi)大量時(shí)間。

4、業(yè)務(wù)流程：

5、代碼過(guò)程落地：

6、源碼：

源碼.rar

源碼.rar

7、視頻說(shuō)明：

鏈接：[url]https://pan.baidu.com/s/1cer_qm6I2AC_69AgLZuotA&nbsp[/url];

提取碼：2aqj