通信網(wǎng)banner.jpg)
近日，以“數(shù)智未來(lái)，因你而來(lái)”為主題的鯤鵬應(yīng)用創(chuàng)新大賽2023正式落下帷幕。本次大賽激發(fā)行業(yè)應(yīng)用創(chuàng)新，促進(jìn)人才培養(yǎng)，凝心聚力全產(chǎn)業(yè)開(kāi)發(fā)者，吸引了企業(yè)、科研院所、高校共1600多支團(tuán)隊(duì)、6000多名開(kāi)發(fā)者踴躍參與，經(jīng)過(guò)6個(gè)月的激烈角逐，最終從3大賽事、5大賽道中評(píng)選出13個(gè)金獎(jiǎng)、16個(gè)銀獎(jiǎng)、19個(gè)銅獎(jiǎng)。本次大賽涌現(xiàn)了一批優(yōu)秀的開(kāi)發(fā)者和技術(shù)方案，他們推動(dòng)著鯤鵬產(chǎn)業(yè)的進(jìn)一步發(fā)展，從“用上”鯤鵬到“用好”鯤鵬，并成長(zhǎng)為鯤鵬計(jì)算生態(tài)中不可或缺的新力量。
今年，五大賽道之一的鯤鵬原生應(yīng)用創(chuàng)新（運(yùn)營(yíng)商）賽道備受關(guān)注，其中江蘇電信IBOC團(tuán)隊(duì)打造的《基于openEuler+鯤鵬的江蘇電信CRM系統(tǒng)設(shè)計(jì)》更是獲得了現(xiàn)場(chǎng)評(píng)委的一致認(rèn)可，最終奪得金獎(jiǎng)。這一方案究竟有哪些獨(dú)到之處？
一場(chǎng)大型核心業(yè)務(wù)系統(tǒng)的全面優(yōu)化
一直以來(lái)，江蘇電信推動(dòng)并注重技術(shù)創(chuàng)新，在服務(wù)器和操作系統(tǒng)等方面更是作為重點(diǎn)投入。在這一過(guò)程中，openEuler和鯤鵬也逐漸進(jìn)入了江蘇電信的合作伙伴范圍中。
目前來(lái)看，基于鯤鵬生態(tài)的openEuler已然成長(zhǎng)為國(guó)內(nèi)發(fā)展勢(shì)頭最為強(qiáng)勁的開(kāi)源服務(wù)器操作系統(tǒng)社區(qū)。2021年openEuler系服務(wù)器操作系統(tǒng)裝機(jī)量達(dá)到55.3萬(wàn)套，2022年openEuler在政府、金融、運(yùn)營(yíng)商行業(yè)實(shí)現(xiàn)新增市場(chǎng)份額第一，跨越生態(tài)拐點(diǎn)。2023年預(yù)計(jì)達(dá)成中國(guó)新增服務(wù)器操作系統(tǒng)市場(chǎng)份額35%，成為中國(guó)新增市場(chǎng)份額絕對(duì)第一。openEuler社區(qū)的企業(yè)層面數(shù)量從3年前幾十家發(fā)展到現(xiàn)在的700余家，可以看出openEuler已創(chuàng)造顯著的經(jīng)濟(jì)和社會(huì)效應(yīng)。
同時(shí)，秉承“硬件開(kāi)放、軟件開(kāi)源、使能伙伴、發(fā)展人才”的計(jì)算產(chǎn)業(yè)戰(zhàn)略，鯤鵬計(jì)算產(chǎn)業(yè)生態(tài)逐步完善。目前在全國(guó)范圍內(nèi)已落地4500多個(gè)鯤鵬合作伙伴，13500多個(gè)解決方案通過(guò)鯤鵬兼容性測(cè)試認(rèn)證，全國(guó)24個(gè)鯤鵬生態(tài)創(chuàng)新中心已發(fā)展超過(guò)200萬(wàn)鯤鵬開(kāi)發(fā)者。鯤鵬計(jì)算產(chǎn)業(yè)廣泛應(yīng)用在政府、城市、金融、運(yùn)營(yíng)商、電力等各個(gè)領(lǐng)域落地生根，為行業(yè)發(fā)展提供強(qiáng)有力的支持。
基于openEuler和鯤鵬生態(tài)的蓬勃發(fā)展，江蘇電信CRM系統(tǒng)決定全面擁抱openEuler+鯤鵬平臺(tái)。但是，江蘇電信CRM系統(tǒng)屬于典型的大型核心業(yè)務(wù)系統(tǒng)，不僅影響大，而且在全國(guó)范圍內(nèi)也缺乏類似案例，系統(tǒng)的全面升級(jí)工作難度頗高。
江蘇電信IBOC的仇伶瑋表示，團(tuán)隊(duì)在探索的過(guò)程中遇到諸多挑戰(zhàn)，例如在推進(jìn)容器化的過(guò)程中，各類PaaS組件尚不完全兼容openEuler+鯤鵬環(huán)境，而且在直接遷移后，可能會(huì)帶來(lái)效率和性能的降低。從底層來(lái)看，容器資源池也很難實(shí)現(xiàn)平滑遷移，這意味著需要新建鯤鵬資源池，遷移成本可能居高不下。而且，在開(kāi)源社區(qū)里，基于openEuler的基礎(chǔ)鏡像較少，同時(shí)大部分的鏡像不支持鯤鵬環(huán)境……這些問(wèn)題都給團(tuán)隊(duì)帶來(lái)了不小的麻煩。
江蘇電信IBOC團(tuán)隊(duì)仇伶瑋
在江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心的支持下，現(xiàn)如今，整個(gè)江蘇電信的17個(gè)CRM業(yè)務(wù)中心均已完成適配，涉及13個(gè)地市的一億多用戶。底層Kubernetes資源池已相當(dāng)于百臺(tái)鯤鵬物理服務(wù)器的規(guī)模，資源池所依賴的Calico、Crane、Istio、Ingress、Kube-Prometheus、調(diào)度器等插件，CRM業(yè)務(wù)依賴的分布式緩存CTG-Cache、消息隊(duì)列CTG-MQ、Mysql數(shù)據(jù)庫(kù)等各類組件均進(jìn)行了openEuler+鯤鵬的適配與優(yōu)化，從而實(shí)現(xiàn)了整體效率的提升。
系統(tǒng)提升，打造全新能力
一次復(fù)雜的系統(tǒng)升級(jí)往往意味需要調(diào)動(dòng)大量的研發(fā)力量，但這樣大規(guī)模的人力投入巨大。為了減少系統(tǒng)升級(jí)過(guò)程中在構(gòu)建、發(fā)布流程中的人力重復(fù)浪費(fèi)，江蘇電信IBOC團(tuán)隊(duì)構(gòu)建了自動(dòng)化、智能化、自助化的發(fā)布流水線，以此來(lái)提升版本交付效率。
在自動(dòng)化方面，通過(guò)Jenkins來(lái)串聯(lián)代碼倉(cāng)庫(kù)、鏡像倉(cāng)庫(kù)、K8S集群等3個(gè)平臺(tái)和4個(gè)環(huán)節(jié)，并借助江蘇電信盤古PaaS平臺(tái)實(shí)現(xiàn)了一鍵自動(dòng)發(fā)布，效率提升約4倍。在智能化方面，團(tuán)隊(duì)通過(guò)Harbor鏡像倉(cāng)庫(kù)，來(lái)智能適配鯤鵬，自動(dòng)識(shí)別鏡像架構(gòu)，實(shí)現(xiàn)鏡像自動(dòng)構(gòu)建、自動(dòng)下發(fā)不同環(huán)境，提升異構(gòu)環(huán)境部署效率約10倍。在自助化方面，團(tuán)隊(duì)通過(guò)Jenkins實(shí)現(xiàn)各開(kāi)發(fā)團(tuán)隊(duì)一鍵自助發(fā)布應(yīng)用版本，大幅提升研發(fā)協(xié)作效率約4倍。
除了自建的工具之外，團(tuán)隊(duì)還使用了鯤鵬開(kāi)發(fā)者套件DevKit、鯤鵬應(yīng)用使能套件BoostKit兩款鯤鵬提供的效能工具。
鯤鵬開(kāi)發(fā)者套件DevKit主要用于CRM系統(tǒng)應(yīng)用層優(yōu)化。團(tuán)隊(duì)基于鯤鵬開(kāi)發(fā)者套件DevKit此完成了整個(gè)CRM系統(tǒng)百萬(wàn)行級(jí)代碼的鯤鵬兼容遷移，并通過(guò)了源碼遷移完整性掃描，基于openEuler和畢昇編譯器等特性實(shí)現(xiàn)性能優(yōu)化。同時(shí)，團(tuán)隊(duì)還自制了openEuler、Nginx、畢昇JDK、Tomcat四種基礎(chǔ)鏡像，并由此制作了50多種CRM業(yè)務(wù)容器鏡像。針對(duì)鯤鵬環(huán)境，團(tuán)隊(duì)重構(gòu)改造了原來(lái)的CI/CD流水線，實(shí)現(xiàn)自動(dòng)構(gòu)建兼容鯤鵬環(huán)境的容器鏡像，并實(shí)現(xiàn)了自動(dòng)部署、自動(dòng)測(cè)試，這也節(jié)約了很大的人力成本。
鯤鵬應(yīng)用使能套件BoostKit主要用于底層PaaS平臺(tái)的優(yōu)化。針對(duì)開(kāi)源MySQL數(shù)據(jù)庫(kù)直接運(yùn)行在鯤鵬環(huán)境性能有所下降的問(wèn)題，團(tuán)隊(duì)通過(guò)鯤鵬應(yīng)用使能套件BoostKit實(shí)現(xiàn)MySQL并行查詢優(yōu)化、無(wú)鎖優(yōu)化、線程池優(yōu)化、NUMA調(diào)度優(yōu)化，讓數(shù)據(jù)庫(kù)查詢效率的成倍提升，寫效率略微提升，保障性能更加平穩(wěn)，實(shí)現(xiàn)TPCC的顯著提升。同時(shí)，團(tuán)隊(duì)選擇通過(guò)上層的多集群管理工具、統(tǒng)一負(fù)載網(wǎng)關(guān)，并借助集群內(nèi)的容器調(diào)度器實(shí)現(xiàn)架構(gòu)感知的自動(dòng)調(diào)度功能。容器資源池由多種異構(gòu)Kubernetes集群組成，而且單個(gè)Kubernetes集群也可由多種架構(gòu)主機(jī)組成，這樣計(jì)算任務(wù)就可以自由調(diào)度，并由此實(shí)現(xiàn)了應(yīng)用遷移至鯤鵬環(huán)境。
優(yōu)良的工具可以提升整體效率，但這并不代表所有問(wèn)題都能迎刃而解。比如資源利用率低的問(wèn)題，此前容器資源池分布在不同機(jī)房，且操作系統(tǒng)、架構(gòu)不同，若拆分過(guò)細(xì)則會(huì)導(dǎo)致每個(gè)小資源池利用效率都不高。再比如，操作系統(tǒng)、服務(wù)器架構(gòu)的演進(jìn)是一個(gè)復(fù)雜的過(guò)程，此前CRM系統(tǒng)規(guī)模龐大而且運(yùn)行在架構(gòu)完全不同的資源池上，這會(huì)導(dǎo)致難以直接新建同規(guī)模資源池來(lái)遷移。
在這些新的問(wèn)題面前，團(tuán)隊(duì)希望通過(guò)資源池和計(jì)算任務(wù)統(tǒng)一調(diào)度，實(shí)現(xiàn)CRM系統(tǒng)平滑遷移舉。為了實(shí)現(xiàn)這一目標(biāo)，團(tuán)隊(duì)將不同機(jī)房、不同域的主機(jī)整合為統(tǒng)一的資源池，并對(duì)整個(gè)CRM系統(tǒng)完全進(jìn)行了容器化和云原生化改造，將CRM系統(tǒng)和其它實(shí)時(shí)在線/離線分析應(yīng)用抽象為統(tǒng)一的計(jì)算任務(wù)，利用負(fù)載間的差異提高資源利用率。并且團(tuán)隊(duì)通過(guò)多集群管理工具、原生調(diào)度器、開(kāi)源調(diào)度器、自研調(diào)度插件協(xié)同，實(shí)現(xiàn)了計(jì)算任務(wù)在多種資源之間自由調(diào)度。
創(chuàng)新拓展，敢為行業(yè)先
“我們使用鯤鵬開(kāi)發(fā)者套件DevKit，實(shí)現(xiàn)Java應(yīng)用代碼的優(yōu)化，基于鯤鵬應(yīng)用使能套件BoostKit，完成了MySQL PaaS組件的優(yōu)化。”仇伶瑋總結(jié)稱，“在完成整體的CRM系統(tǒng)的適配優(yōu)化之后，江蘇電信CRM系統(tǒng)總體性能提高了約25%~50%。”
一次成功的嘗試，不僅能讓自身受益，還能為后來(lái)者開(kāi)辟新的路徑。江蘇電信CRM系統(tǒng)的適配優(yōu)化項(xiàng)目便有力的詮釋這句話。
本次系統(tǒng)適配優(yōu)化后，可對(duì)于內(nèi)部起到更好的業(yè)務(wù)支撐，進(jìn)一步加快江蘇電信的業(yè)務(wù)創(chuàng)新和服務(wù)轉(zhuǎn)型。從結(jié)果來(lái)看，項(xiàng)目最終實(shí)現(xiàn)市場(chǎng)營(yíng)銷、銷售、服務(wù)等活動(dòng)的自動(dòng)化，利于全面、準(zhǔn)確、前瞻的洞察客戶需求。
如果把眼光放到更遠(yuǎn)處，本次設(shè)計(jì)的方案擁有良好的普適性，可以便捷的復(fù)制使用到各個(gè)運(yùn)營(yíng)商集團(tuán)及各省分公司。面向未來(lái)，江蘇電信內(nèi)部將以該方案為標(biāo)桿范例，全面推進(jìn)其他業(yè)務(wù)系統(tǒng)適配，從而帶來(lái)更加卓越的性能升級(jí)和優(yōu)化。
眾行致遠(yuǎn)，大道不孤。江蘇電信IBOC團(tuán)隊(duì)打造的方案立足自身，謀于業(yè)內(nèi)，為有類似需求的企業(yè)打造良好的范例。這一方案與鯤鵬應(yīng)用創(chuàng)新大賽的初衷不謀而合，大賽旨在發(fā)掘更多優(yōu)秀的解決方案和開(kāi)發(fā)者，助力實(shí)現(xiàn)鯤鵬生態(tài)、合作伙伴和開(kāi)發(fā)者之間共同的價(jià)值提升。未來(lái)，鯤鵬計(jì)算產(chǎn)業(yè)持續(xù)為數(shù)字經(jīng)濟(jì)發(fā)展打造新的模板，不斷服務(wù)于千行百業(yè)的核心場(chǎng)景之中，成為中國(guó)計(jì)算產(chǎn)業(yè)夯實(shí)發(fā)展底座。
