基于垃圾短信發(fā)往方向頻次流量的大數(shù)據(jù)相關性分析

秦保根,男,1985年畢業(yè)于南京郵電學院電信工程系,高級工程師,享受國務院特殊津貼,中國聯(lián)通科技成果評審專家、結算專家、評標專家,江西聯(lián)通高級經理。

摘要:

垃圾短信紛繁多樣,給電信運營商的攔截帶來極大的困擾,通過基于短信發(fā)往的所屬本地網方向、頻次及流量的垃圾短信大數(shù)據(jù)相關性分析,解決了這一難題,供各電信運營商參考。

作者簡介:

1.前言

根據(jù)相關資料顯示,僅有0.7%以下的用戶表示沒有收到過垃圾短信,用戶每周平均收到的垃圾短信數(shù)量為12 條。此外,電信運營商每月退網用戶中垃圾短信用戶占近一半,并造成大量欠費,尤其是后付費用戶漫游異地后,其話單記錄需要過一定時間后,方能向其歸屬地發(fā)回賬單,造成欠費!因此,依法治理垃圾短信,是促進社會主義政治文明及精神文明建設、構建和諧社會、凈化社會環(huán)境、打擊違法犯罪的必然需要,是保障人民群眾合法權益的根本使然。

垃圾短信詐騙和傳播違法短信等活動日益猖獗,主要表現(xiàn)如下:

假冒銀行或銀聯(lián)名義發(fā)送手機違法短信進行詐騙或者敲詐勒索公私財物;

散布淫穢、色情、賭博、暴力、兇殺、恐怖內容或者教唆犯罪、傳授犯罪方法;

非法銷售槍支、彈藥、爆炸物、走私車、毒品、迷魂藥、淫穢物品、假鈔、假發(fā)票或者明知是犯罪所得贓物;

發(fā)布假中獎、假婚介、假招聘,或者引誘、介紹他人賣淫嫖娼的;

多次發(fā)送干擾他人正常生活的,以及含有其他違反憲法、法律、行政法規(guī)禁止性規(guī)定的內容;

極少數(shù)境內外敵對勢力、敵對分子和對社會心懷不滿的人,編造、傳播一些明顯帶有誹謗、煽動性內容的手機違法短信,企圖破壞社會穩(wěn)定。

2.建議的技術方案

2.1以前垃圾短信防范系統(tǒng)存在的缺點:

僅通過對短信關鍵字進行匹配識別攔截;

僅對某一時段超頻發(fā)送短信的用戶進行識別攔截。

以上方式,易造成對正常用戶的誤判,且對垃圾短信的識別量非常有限。

2.2 實施的組網及處理流程

為在公眾通信網上,提高垃圾短信判別的準確率,大幅減少垃圾短信的傳送,使經濟詐騙、垃圾廣告、不法短信傳播得到及時的甄別堵截,建議如下的垃圾短信攔截方案:

垃圾短信判別系統(tǒng)組網圖,如圖1所示,判斷可疑垃圾短信的流程,如圖2所示。

3.實施的主要步驟

在此,我們首先定義“可疑短信接收方向”,它是指:在某一時間段內,某A地之某一電信運營商發(fā)往其他異地本地網(Bn地)短信數(shù)量X,若大于或接近其發(fā)往所在地(A地)的本地網短信數(shù)量Y,則該異地本地網(Bn地)稱為“可疑短信接收方向”,“可疑短信接收方向”(Bn地)可能同時存在不止一個,即n>=1。比如:假設南昌聯(lián)通(A)發(fā)往長沙(B1)、?冢˙2)、東莞(B3)所有三個運營商(聯(lián)通、電信及移動)的短信數(shù)量,若大于或接近其發(fā)往南昌本地三個運營商(聯(lián)通、電信及移動)的短信數(shù)量,則長沙、海口、東莞稱為“可疑短信接收方向”,如表1所示。

“可疑短信號碼”:是指可疑短信接收方向的所有發(fā)信號碼中,剔除電信運營商設定的白名單號碼和吉祥號碼后的發(fā)信號碼。

具體來說:參照圖1所示的可疑短信判別系統(tǒng)組網圖,按照圖2所示的判斷可疑垃圾短信的流程,除重大節(jié)日:如春節(jié)、元宵、端午、中秋、國慶、元旦、五一、圣誕平安、情人節(jié)、父親節(jié)、母親節(jié)等外,垃圾短信分析判別服務器的短信話單采集模塊,從短信中心采集短信話單,統(tǒng)計分析及判別模塊分析某一個或多個時間段內超頻發(fā)信號碼的可疑短信接收方向及其可疑短信號碼,對可疑垃圾短信方向發(fā)信號碼的關聯(lián)情況進行統(tǒng)計分析,再從計費帳務系統(tǒng)中提取該部分發(fā)信號碼的用戶信息資料進行鑒別,將判定為垃圾短信的號碼列為黑名單,放入短信中心限制其短信發(fā)送,具體步驟如下:

步驟1,短信話單采集模塊通過FTP從短信中心實時獲得原始話單數(shù)據(jù),對某一或多個時間段內(如每日8:00-12:00、13:00-17:00、19:00-23:00或按天等等)發(fā)信號碼的超頻短信話單(如在設定的某個時間段內超頻發(fā)送100條以上短信,其他時間段超頻發(fā)送短信數(shù)可以設定為150條等)進行分揀;

步驟2,可疑垃圾短信統(tǒng)計分析及判別模塊,按本地網歸屬手機H碼或小靈通長途區(qū)號統(tǒng)計短信接收數(shù),將短信接收數(shù)大于或接近(如:50%以上)發(fā)信號碼所在本地網的異地本地網(城市)列為可疑短信接收方向,在可疑短信接收方向的發(fā)信號碼庫中,剔除電信運營商設定的白名單號碼和吉祥號碼后,剩余部分列為可疑短信號碼;

步驟3,分析可疑短信號碼在所有可疑短信方向的短信發(fā)送數(shù)占該號碼短信發(fā)送總數(shù)之比的數(shù)值,如該數(shù)值大于50%(如表2),則繼續(xù)步驟4,否則返回到步驟1;

步驟4,從計費營帳系統(tǒng)中,調取該部分可疑短信號碼的用戶信息資料,進行鑒別,若同時所有設定條件:信用度為0、近期入網(如當月入網)、入網后極少接收短信(如接收短信少于三條)、且極少通話記錄(剔除電信運營商免費客戶號碼通話記錄后,通話記錄少于三條),則將可疑短信號碼定義為可疑垃圾短信號碼,并繼續(xù)往下,否則返回到步驟1;

步驟5,將可疑垃圾短信號碼,列為黑名單,放入短信中心,在一定時間內(如七天或三個月等,根據(jù)具體規(guī)定設定),限制其短信發(fā)送,返回到步驟1。

鑒于部分垃圾短信發(fā)送方式越來越隱蔽和狡猾,對于實施以上規(guī)則后,仍沒有截停的垃圾短信號碼,可按照以下規(guī)則,予以二次過濾,提高攔截效果:

統(tǒng)計用戶入網時間至6個月,以捕捉部分開卡時間和開始使用時間差較長的準預付費的“養(yǎng)卡”號碼。

增加總量控制,加長統(tǒng)計時間,按如按某4個小時、6小時等區(qū)段統(tǒng)計,其累計發(fā)送總數(shù)量≥電信運營商設定的超頻數(shù)量,如200條、300條、500條等,按上述步驟3判斷分析。

個別真實的正常新入網用戶,在入網后,會以短信方式告知親朋好友,有可能被識別為垃圾短信用戶,可采取對個別已錯列黑名單的用戶結合營帳系統(tǒng)中取得的通話、流量等正常使用行為情況進行復核,一旦出現(xiàn)正常通話和流量,則將該號碼立即從黑名單中剔除。

電信運營商,應將垃圾短信黑名單用戶攔截記錄,提供給客服,便于投訴處理時的查詢和解釋。

通過以上二次過濾,再次提高垃圾短信的攔截質量和效率,有效率達到99%以上,目前攔截效果很好。

4.結束語

基于發(fā)送方向、頻次流量的垃圾短信大數(shù)據(jù)相關性分析,通過采集某一個或多個時間段內超頻發(fā)信號碼的可疑短信接收方向、可疑短信號碼,對可疑垃圾短信方向發(fā)信號碼的關聯(lián)情況進行統(tǒng)計分析,再從計費帳務系統(tǒng)中提取該部分發(fā)信號碼的用戶信息資料進行鑒別,將判定為垃圾短信的號碼列為黑名單,放入短信中心限制其短信發(fā)送。該方法極大地提高垃圾短信判別的準確率,大幅減少垃圾短信的傳送,使經濟詐騙、垃圾廣告、不法短信傳播得到及時的甄別堵截。

作者:秦保根


微信掃描分享本文到朋友圈
掃碼關注5G通信官方公眾號,免費領取以下5G精品資料
  • 1、回復“YD5GAI”免費領取《中國移動:5G網絡AI應用典型場景技術解決方案白皮書
  • 2、回復“5G6G”免費領取《5G_6G毫米波測試技術白皮書-2022_03-21
  • 3、回復“YD6G”免費領取《中國移動:6G至簡無線接入網白皮書
  • 4、回復“LTBPS”免費領取《《中國聯(lián)通5G終端白皮書》
  • 5、回復“ZGDX”免費領取《中國電信5GNTN技術白皮書
  • 6、回復“TXSB”免費領取《通信設備安裝工程施工工藝圖解
  • 7、回復“YDSL”免費領取《中國移動算力并網白皮書
  • 8、回復“5GX3”免費領取《R1623501-g605G的系統(tǒng)架構1
  • 本周熱點本月熱點

     

      最熱通信招聘

      最新招聘信息