banner.jpg)
相關(guān)專題：
隨著中國移動數(shù)據(jù)業(yè)務的推廣，使用移動數(shù)據(jù)業(yè)務的用戶日漸增多。針對集團用戶利用移動終端接收和發(fā)送郵件的PUSHEMAIL業(yè)務也已進入試商用階段。目前，對于PUSHEMAIL的業(yè)務平臺功能測試，只能以人工方式直接利用移動終端完成。而對于檢驗PUSHEMAIL業(yè)務平臺的性能沒有系統(tǒng)和完善的測試方法。
本文主要針對目前PUSHEMAIL平臺性能測試方法問題，從測試環(huán)境、測試預配置、測試工具、測試步驟、測試統(tǒng)計指標等方面，總結(jié)出較完善的測試方法來綜合評估PUSHEMAIL業(yè)務平臺的性能，從而保障PUSHEMAIL業(yè)務在現(xiàn)網(wǎng)運行的穩(wěn)定性。
一、PUSHEMAIL業(yè)務流程及業(yè)務平臺功能
PUSHEMAIL業(yè)務是目前中國移動重要的數(shù)據(jù)業(yè)務，主要面向集團用戶。在用戶開通PUSHEMAIL業(yè)務后，一旦用戶的郵件系統(tǒng)有新郵件到達，用戶移動終端上的“PUSHEMAIL業(yè)務客戶端軟件”立即建立與郵件服務器的安全連接，下載郵件并通知手機用戶閱讀郵件。同時，用戶也可以使用移動終端回復、轉(zhuǎn)發(fā)和發(fā)送郵件。郵箱和手機終端設備之間采用通過SSL協(xié)議的端到端加密形式。
1．PUSHEMAIL業(yè)務流程
PUSHEMAIL業(yè)務基于企業(yè)郵件的功能，并結(jié)合移動數(shù)據(jù)業(yè)務特點為用戶提供利用移動終端接收郵件、提取附件、發(fā)送郵件、轉(zhuǎn)發(fā)郵件四種業(yè)務流程的功能服務。只要用戶開通PUSHEMAIL業(yè)務，即可同時使用以上四種業(yè)務流程的功能服務。
接收郵件流程
接收郵件流程是當用戶的企業(yè)郵件系統(tǒng)中有新郵件的時候，通過PUSHEMAIL業(yè)務系統(tǒng)直接推送到用戶移動終端上的過程。
提取附件流程
提取附件流程是當用戶的移動終端已經(jīng)接收到新郵件后，通過移動終端發(fā)送對提取附件的指令，附件被提取到移動終端的過程。
轉(zhuǎn)發(fā)郵件流程
轉(zhuǎn)發(fā)郵件流程是當用戶的移動終端收到新郵件后，在移動終端上轉(zhuǎn)發(fā)給其他接收郵件者的過程。
發(fā)送郵件流程
發(fā)送郵件流程是用戶通過移動終端編輯發(fā)送郵件給其他接收郵件者的過程。
2．PUSHEMAIL業(yè)務平臺
PUSHEMAIL業(yè)務系統(tǒng)由三個部分組成：郵件代理網(wǎng)關(guān)、郵件PUSH網(wǎng)關(guān)和郵件客戶端。其中郵件代理網(wǎng)關(guān)和郵件PUSH網(wǎng)關(guān)（圖1虛框所示）分別部署在提供PUSHEMAIL業(yè)務的企業(yè)防火墻和運營商防火墻的內(nèi)部，郵件客戶端是安裝在用戶的移動終端上。
郵件代理網(wǎng)關(guān)
郵件代理網(wǎng)關(guān)安裝在企業(yè)的防火墻之后，并與企業(yè)的郵件服務器通過POP3/IMAP4協(xié)議相連接，負責企業(yè)郵件系統(tǒng)與郵件PUSH網(wǎng)關(guān)的通信、協(xié)議轉(zhuǎn)換等工作。同時，郵件代理網(wǎng)關(guān)也負責建立與手機終端之間的HTTP/SSL通道，并且轉(zhuǎn)發(fā)手機終端向企業(yè)郵件系統(tǒng)發(fā)出的接收郵件和發(fā)送請求。
郵件PUSH網(wǎng)關(guān)
郵件PUSH網(wǎng)關(guān)是中國移動為開展PUSHEMAIL業(yè)務新增的網(wǎng)元設備，該網(wǎng)元保存和管理企業(yè)郵件系統(tǒng)的注冊信息，同時負責向用戶終端發(fā)送郵件到達通知，中介完成手機終端與郵件代理網(wǎng)關(guān)的通信。
郵件客戶端
郵件客戶端是嵌入到移動終端中的PUSHEMAIL業(yè)務客戶端軟件，主要實現(xiàn)郵件的收發(fā)、提取附件等業(yè)務功能。
二、性能測試方法
測試方法簡而言之就是測試步驟，同時以測試步驟為核心內(nèi)容來考慮測試環(huán)境、測試數(shù)據(jù)配置、測試工具、指標統(tǒng)計。這就形成了核心是測試步驟，周邊環(huán)繞著測試環(huán)境、數(shù)據(jù)配置等部分的一整套測試方法。
在PUSHEMAIL業(yè)務平臺的性能測試中，測試內(nèi)容包括單項流程測試和混合流程測試兩大方面。其中單項測試流程通過對PUSHEMAIL業(yè)務中所涉及到的接收郵件、發(fā)送郵件、提取附件、轉(zhuǎn)發(fā)郵件四個業(yè)務流程分別測試來檢驗業(yè)務平臺對各個流程的處理性能；混合流程測試是將以上四個流程混合，模擬現(xiàn)網(wǎng)的用戶實際行為來綜合檢驗業(yè)務平臺的性能。
1．測試環(huán)境
目前中國移動的PUSHEMAIL業(yè)務的組網(wǎng)方式采用集中式建設，即在全國建立一套統(tǒng)一的PUSH網(wǎng)關(guān)，下面連接不同省市的不同企業(yè)的郵件代理網(wǎng)關(guān)（參見圖2）。
根據(jù)現(xiàn)網(wǎng)集中式的組網(wǎng)方式，性能測試不可能對一個PUSH網(wǎng)關(guān)和下面所有的郵件代理網(wǎng)關(guān)進行統(tǒng)一的性能測試�？梢酝ㄟ^最簡單的組網(wǎng)方式，即一個PUSH網(wǎng)關(guān)和一個郵件代理網(wǎng)關(guān)（參見圖3）測試單個郵件代理網(wǎng)關(guān)的性能。由于郵件代理網(wǎng)關(guān)直接面向集團用戶，通過對單個郵件代理網(wǎng)關(guān)的測試檢驗系統(tǒng)性能可滿足用戶的實際需求。在性能測試過程中，用測試工具分別模擬用戶移動終端和企業(yè)郵件系統(tǒng)，實現(xiàn)PUSHEMAIL業(yè)務的接收郵件、發(fā)送郵件、提取附件、轉(zhuǎn)發(fā)郵件的業(yè)務流程。
2．測試檢驗重點
從PUSHEMAIL用戶體驗情況和業(yè)務平臺性能角度考慮，郵件業(yè)務平臺處理郵件的性能、最大在線用戶數(shù)、郵件處理的成功率是直接影響用戶應用此業(yè)務的關(guān)鍵性指標。故對PUSHEMAIL業(yè)務平臺性能測試檢驗重點應側(cè)重于上述三個方面。
3．測試預配置
為了在PUSHEMAIL業(yè)務平臺性能測試中盡量模擬現(xiàn)網(wǎng)業(yè)務的運行環(huán)境，需要在測試前對被測平臺作測試的預配置。配置的內(nèi)容主要包括郵件大小配置和用戶配置，具體的數(shù)值確定需要根據(jù)現(xiàn)網(wǎng)具體的流量模型而確定。
郵件大小配置
郵件包含郵件正文和郵件附件兩部分。對于郵件的配置包括對郵件正文大小配置和郵件附件的大小配置。
系統(tǒng)用戶數(shù)量的配置
系統(tǒng)用戶數(shù)需要根據(jù)PUSHEMAIL業(yè)務中的郵件代理網(wǎng)關(guān)將要服務多少集團用戶的實際數(shù)量配置。
4．測試工具
性能測試工具的選擇對測試結(jié)果正確性及準確性起著決定性的作用。測試工具在PUSHEMAIL業(yè)務平臺性能測試中，需要根據(jù)不同的業(yè)務流程來分別模擬用戶的客戶端和企業(yè)郵件系統(tǒng)。
在單項流程測試中的接收郵件流程、提取附件流程、轉(zhuǎn)發(fā)郵件流程中，需要測試工具既模擬企業(yè)郵件系統(tǒng)又模擬接收客戶端。此時，測試的壓力源為模擬的企業(yè)郵件系統(tǒng)提供測試所需的壓力，測試工具所模擬的接收客戶端為被動接收方。在發(fā)送郵件流程中，測試工具的壓力源為模擬的接收客戶端來提供測試所需的壓力，企業(yè)郵件系統(tǒng)為被動接收方，主要通過裝置的被測參數(shù)采集器來采集相應的系統(tǒng)信息；在混合流程測試中，由于同時存在接收郵件、提取附件、轉(zhuǎn)發(fā)郵件、發(fā)送郵件流程，測試工具同時模擬壓力源及壓力的接收方。
5．測試步驟
對于PUSHEMAIL性能測試的步驟大體分成五個步驟進行。
步驟一：配置測試的項目
在測試工具上配置單項流程測試或者混合流程測試。
步驟二：配置業(yè)務流程
如果是對單項業(yè)務流程測試，在此步驟需要配置測試的接收郵件流程、發(fā)送郵件流程、提取附件流程、轉(zhuǎn)發(fā)郵件四個業(yè)務流程中的具體業(yè)務流程；如果是對混合流程測試，需要根據(jù)現(xiàn)網(wǎng)的業(yè)務流量模型配置接收郵件流程、發(fā)送郵件流程、提取附件流程、轉(zhuǎn)發(fā)郵件四個業(yè)務流程的流量百分比。
步驟三：壓力增加
壓力的增加是以階梯上升的形式來完成�？梢栽跍y試工具上定義每秒遞增多少用戶，每個用戶發(fā)送多少封郵件，達到一個目標值后穩(wěn)定運行多少分鐘。
步驟四：停止加壓
此步驟是當被測系統(tǒng)資源超出70％或者達到系統(tǒng)標稱指標的時候，測試工具不再向被測系統(tǒng)增加新的郵件，待系統(tǒng)將未處理的郵件處理自然完成的過程。
步驟五：數(shù)據(jù)采集
數(shù)據(jù)采集步驟是根據(jù)測試的實際需求，將測試得到數(shù)據(jù)提取出來的過程。
6．測試指標統(tǒng)計分析
測試指標的統(tǒng)計分析是測試中最重要的一個環(huán)節(jié)，測試中環(huán)境的搭建、測試數(shù)據(jù)的配置、測試工具的使用以及測試步驟的設計都是為最終的測試指標統(tǒng)計分析服務。統(tǒng)計指標的設定也成為客觀反映此業(yè)務平臺處理性能的關(guān)鍵。
對于PUSHEMAIL性能測試的指標設定主要從兩個方面考慮，一方面要考慮到業(yè)務平臺對各個業(yè)務流程的處理性能（接收郵件流程處理性能、發(fā)送郵件流程處理性能、提取附件流程處理性能、轉(zhuǎn)發(fā)郵件處理性能）；另一方面要考慮到當業(yè)務系統(tǒng)處理性能達到一定的指標時，業(yè)務平臺本身設備的系統(tǒng)資源消耗是多少。只有將以上兩個方面相互關(guān)聯(lián)考慮才能綜合反映出此業(yè)務平臺系統(tǒng)的整體性能。
下面結(jié)合PUSHEMAIL業(yè)務平臺性能測試流程中的步驟四、步驟五來說明對指標的統(tǒng)計分析。
首先，需要確定統(tǒng)計指標的前提。對于PUSHEMAIL業(yè)務平臺系統(tǒng)而言，需要確定兩個前提，第一個前提是系統(tǒng)達到業(yè)務處理性能相應的標稱指標；第二個前提是系統(tǒng)達到一定的處理能力時本身的資源消耗（CPU、內(nèi)存）。
其次，需要確定在什么前提下統(tǒng)計哪些指標。在已經(jīng)確定指標統(tǒng)計前提的基礎上，需要確定相關(guān)的統(tǒng)計內(nèi)容。在以系統(tǒng)達到業(yè)務處理性能相應的標稱指標為前提的情況下，需要統(tǒng)計被測系統(tǒng)的系統(tǒng)資源消耗。即系統(tǒng)的CPU及內(nèi)存的消耗；在以系統(tǒng)達到一定的處理能力時本身的資源消耗為前提的情況下，需要統(tǒng)計PUSHEMAIL業(yè)務系統(tǒng)能夠承受的最大用戶數(shù)并發(fā)數(shù)、郵件處理速度、郵件處理成功率。
統(tǒng)計指標是直接反映PUSHEMAIL業(yè)務系統(tǒng)的綜合能力的標準，分成系統(tǒng)業(yè)務處理性能指標和業(yè)務平臺本身系統(tǒng)資源消耗的指標。只有將兩者完全結(jié)合起來才能得出對PUSHEMAIL業(yè)務系統(tǒng)綜合能力的考察。
系統(tǒng)業(yè)務處理性能指標
系統(tǒng)業(yè)務處理性能指標包括最大并發(fā)用戶數(shù)、郵件處理速度和郵件處理成功率三個關(guān)鍵性指標。
最大并發(fā)用戶數(shù)表示PUSHEMAIL業(yè)務系統(tǒng)能夠同時承受多少個用戶的郵件處理。對于用戶來講，此指標直接影響到郵件處理高峰時系統(tǒng)所能夠支持的最大用戶的數(shù)量；
郵件處理速度表示PUSHEMAIL業(yè)務系統(tǒng)對郵件處理的快慢，此指標直接反映出用戶郵件收發(fā)的速度；
郵件處理成功率表示PUSHEMAIL業(yè)務系統(tǒng)對郵件處理成功的比率，此指標直接反映到用戶成功收發(fā)郵件的百分比。
業(yè)務平臺本身系統(tǒng)資源消耗的指標
系統(tǒng)設備資源消耗指標主要考察在測試過程中的CPU和內(nèi)存使用率。CPU和內(nèi)存的消耗能夠直接反映業(yè)務平臺運行的效率和穩(wěn)定性。
根據(jù)以上兩類指標，將兩者結(jié)合起來綜合對被測業(yè)務平臺的性能進行評估。對于滿足性能要求的PUSHEMAIL業(yè)務平臺應該是處理性能、最大并發(fā)用戶數(shù)和郵件處理成功率達到標稱值的時候，其系統(tǒng)的CPU和內(nèi)存消耗在70％以下（一般而言，對于電信產(chǎn)品系統(tǒng)性能消耗上認為當系統(tǒng)資源消耗70％以上時，其性能就達到不穩(wěn)定的狀態(tài)）。
三、小結(jié)
此文以PUSHEMAIL業(yè)務平臺的性能測試方法為切入點，根據(jù)測試經(jīng)驗對在PUSHEMAIL業(yè)務平臺進行性能測試過程中測試環(huán)境、檢驗重點、測試預配置、測試工具、測試步驟以及測試需要統(tǒng)計分析的指標做了較為詳細的講解，希望能夠為開展業(yè)務平臺性能測試提供一些參考及借鑒。
----《通信世界》
