banner.jpg)
2023年10月11日-13日，在中國移動全球合作伙伴大會舉辦期間，中興通訊“星云研發(fā)大模型”亮相，旨在輔助開發(fā)人員進行需求分析、產(chǎn)品設計、編程、測試、版本部署等，全流程助力研發(fā)提效。經(jīng)第三方HumanEval評估，“星云研發(fā)大模型”位于編碼類模型第一梯隊，編碼語言種類多樣性能力和中文編碼能力達到業(yè)內(nèi)領先水平。
直擊痛點，“星云研發(fā)大模型”助力研發(fā)提效
對程序員多種編程語言的高能力要求、長時間的開發(fā)周期，是現(xiàn)代軟件敏捷開發(fā)中常見的兩個研發(fā)痛點。為解決上述痛點，中興通訊推出“星云研發(fā)大模型”，輔助開發(fā)人員進行需求分析、產(chǎn)品設計、編程、測試、版本部署以及產(chǎn)品文檔編寫，為開發(fā)者提供一站式、智能化的研發(fā)體驗，讓每個軟件開發(fā)者都有自己的開發(fā)助手。
其次，“星云研發(fā)大模型”保障研發(fā)全流程的安全可控，包括支持白名單機制有效控制使用范圍；代碼特征值識別有效識別敏感代碼片段；敏感詞識別機制可實時監(jiān)測并攔截敏感內(nèi)容；完備的后臺審計機制可完整回溯安全事件等。
2023年4月，“星云研發(fā)大模型”使用啟動，截至目前，日活人數(shù)達1.2萬人, 代碼采納率達40%~45%，編碼提效30%, 整體研發(fā)提效10%。
關鍵技術突破，“星云研發(fā)大模型”達業(yè)內(nèi)領先
星云研發(fā)大模型具有“三全兩一”的特性，“三全”即中興通訊全自研編碼模型；全流程助力研發(fā)提效；支持與合作伙伴的全方位合作；“兩一”即“星云研發(fā)大模型”位于編碼類模型第一梯隊；助力整體研發(fā)提效10%
中興通訊將大量高質(zhì)量的領域數(shù)據(jù)、Know-How知識積累、中興通訊多年沉淀的數(shù)十萬篇通信領域技術文檔和1000億token的無線/核心網(wǎng)/云代碼語料等注入大模型，進行增量預訓練，使用并行訓練框架。其次，使用高質(zhì)量精調(diào)數(shù)據(jù)進行模型精調(diào)，滿足輔助編程場景應用，提升研發(fā)效率。
中興通訊自研部署方案，使用動態(tài)batch策略、PagedAttention技術，結合無損模型量化，吞吐量大幅提升，單GPU（A800）達到1500tokens/s，僅使用4張GPU卡（A800）可滿足超千人使用需求。對比業(yè)界常規(guī)的部署方案，（NVIDIA FasterTransformer和Huggingface Transformer），單GPU吞吐量分別提升10+倍和20+倍；結合int4量化技術，在模型精度不下降情況下，模型大小和顯存使用量均下降一半，能有效降低部署成本。
“星云研發(fā)大模型”攜手伙伴，加速演進
大規(guī)模預訓練語言模型正以驚人的速度演進，在自然語言處理、計算機視覺、語音識別等領域取得了顯著進展，通用人工智能的前景正日益清晰。面向未來，中興通訊“星云研發(fā)大模型”將從模型、算子、語料、算法、平臺等全產(chǎn)品維度，與行業(yè)伙伴全方位合作，助力數(shù)智化轉(zhuǎn)型，攜手共赴智能山海，開創(chuàng)智算生長新篇章。
