近日,中國電信在智算網(wǎng)絡(luò)領(lǐng)域取得重大突破,成功完成業(yè)內(nèi)首個(gè) 1024 卡千億參數(shù)商用大模型分布式聯(lián)合訓(xùn)練真實(shí)用戶試商用。這一突破為大模型訓(xùn)練的跨地域協(xié)同發(fā)展開辟了新的道路,也為我國數(shù)字經(jīng)濟(jì)的高質(zhì)量發(fā)展提供了更加強(qiáng)有力的支持。
本次試商用基于北京現(xiàn)網(wǎng) 800G 廣域智聯(lián)無損網(wǎng)絡(luò)以及息壤一站式智算服務(wù)平臺(tái)開展,在互聯(lián)距離、帶寬收斂比以及模型參數(shù)方面均實(shí)現(xiàn)了突破。通過武清到瀛海之間的真實(shí)光路環(huán)回,實(shí)現(xiàn)了 500 公里長距互聯(lián)分布式訓(xùn)練,訓(xùn)練性能達(dá)到單數(shù)據(jù)中心的 97%以上。
在廣域智聯(lián)無損網(wǎng)絡(luò)技術(shù)方面,中國電信進(jìn)行了多項(xiàng)創(chuàng)新。通過創(chuàng)新廣域無損調(diào)度算法和關(guān)鍵幀識(shí)別技術(shù),將帶寬收斂比提升到 32:1;通過創(chuàng)新 WSON 50ms 極速倒換技術(shù),實(shí)現(xiàn)長距鏈路中斷無感知切換。這些技術(shù)有效解決了長距離傳輸中網(wǎng)絡(luò)擁塞丟包、鏈路故障、建網(wǎng)成本等問題,確保了訓(xùn)練過程的穩(wěn)定性和高效性。
與此同時(shí),息壤平臺(tái)提供了一系列關(guān)鍵技術(shù)能力,支持算力插件、跨地域算網(wǎng)協(xié)同、跨數(shù)據(jù)中心自動(dòng)并行、斷點(diǎn)續(xù)訓(xùn)等。這些技術(shù)實(shí)現(xiàn)了故障秒級(jí)定位、分鐘級(jí)處理與恢復(fù),保證了百川千億參數(shù)商用模型的快速部署和穩(wěn)定高效運(yùn)行。
此次試商用的成功是中國電信在智算網(wǎng)絡(luò)領(lǐng)域持續(xù)創(chuàng)新和實(shí)踐的成果,也是積極響應(yīng)國家戰(zhàn)略推動(dòng)算力網(wǎng)絡(luò)協(xié)同發(fā)展的重要舉措。未來,中國電信將繼續(xù)加大在智算網(wǎng)絡(luò)領(lǐng)域的投入和研發(fā)力度,為人工智能產(chǎn)業(yè)的發(fā)展提供更加強(qiáng)有力的網(wǎng)絡(luò)支持,助力我國數(shù)字經(jīng)濟(jì)的高質(zhì)量發(fā)展。