C114訊 5月23日消息(水易)今日,CIOE中國光博會與C114通信網聯合舉辦“2024中國光通信高質量發(fā)展論壇”第四場研討會――“AI時代:數據中心光互聯技術新趨勢”正式上線。會議邀請電信運營商、互聯網服務商、云計算廠商、模塊芯片商、科研院所、業(yè)內專家,深入探討光互聯和全光交換的應用及其面臨的機遇和挑戰(zhàn)。
中國電信研究院高級工程師劉昊表示,AI大模型的出現,驅動新型算力基礎設施建設不斷發(fā)展,傳統(tǒng)數據中心加速向智算中心轉型,對網絡的規(guī)模、時延、帶寬和可靠性等方面提出新的發(fā)展需求與挑戰(zhàn)。
數據顯示,截至2023年底,我國智能算力規(guī)模突破230EFLOPS,全面超過通用算力,并且差距逐漸拉開。中國電信積極響應國家政策,在全國范圍內部署智算中心集群,推動智算中心高質量發(fā)展。
智算中心內部光互連
中國電信集團科技委主任韋樂平曾表示,以ChatGPT為代表的AI大模型近中期主要影響DCN網絡。DCN顧名思義就是數據中心內部網絡,智算中心內部網絡也包括其中,AI大模型訓練需要DCN具備大規(guī)模、高帶寬、低時延、零丟包等能力。
劉昊介紹,AI大模型訓練參數已達到千億-萬億的級別,需要千/萬卡GPU集群來滿足計算任務,大規(guī)模組網成為剛需。同時,GPU網卡之間需要傳輸大量參數、梯度信息,高帶寬傳輸能力不可或缺。對于實時性要求高的應用,難以預測的動態(tài)時延會對網絡性能造成嚴重影響,需重點關注時延和抖動指標。更為重要的是,千分之一的丟包率,將導致AI算力下降50%。因此需要構建無損數據中心網絡。
目前智算中心大規(guī)模組網主要有IB和RoCE兩種方案。對于IB組網,英偉達能夠提供從GPU到服務器到交換機的全家桶式一體化解決方案,但成本高。RoCE基于以太網RDMA技術,目前已發(fā)展到第二代,可以復用現有的以太網設備,成本低,備受青睞。
對于智算中心網絡的高帶寬需求,直接反映在光模塊的應用上。隨著交換芯片容量來到51.2T,800G光模塊開始嶄露頭角。面對光模塊大規(guī)模部署應用,成本和功耗問題日益顯著,打造綠色、低碳的智算中心勢在必行。
為了改善千卡/萬卡集群算力消耗的功耗和時延,LPO/LRO新型光模塊備受關注。劉昊介紹,目前產業(yè)正加快標準化進程,今年3月,12家單位成立LPO-MSA聯盟,旨在定義LPO系列標準,不過能否實現規(guī);瘧糜写龝r間檢驗。
想要進一步降低設備的處理和轉發(fā)時延,基于SDN的光路交換技術(OCS)來到聚光燈下,為智算提供一種新型組網方案。目前谷歌和英偉達都有相應方案,器件方面Lumentum、光迅都稱有相應產品。不過,是否能充分發(fā)揮其自身優(yōu)勢取決于應用方式,控制器需要升級以滿足無損應用。
智算中心之間光互連
AI大模型的持續(xù)火熱,對算力的需求持續(xù)攀升,超大規(guī)模智算中心資源日漸稀缺,跨區(qū)域算力協同成為算力資源的重要補充。
劉昊介紹,以中國電信為例,目前已經在全國范圍內部署眾多智算中心,同時大量中小型智算中心算力不足,考慮到合理利用,通過對跨區(qū)域中小型智算中心進行組網,實現遠距離算力協同調度。
對于智算中心拉遠需求,WDM/OTN是不二之選,其大帶寬、低時延、強保護等特性,能夠為智算提供穩(wěn)定的傳輸管道。劉昊表示,不同于在同一智算中心執(zhí)行訓練任務,智算中心拉遠面臨一系列挑戰(zhàn),包括傳輸時延對模型訓練的效率影響,遠距離通信如何做到無損傳輸,傳輸設備引入的建設成本,不同類型設備之間能否解耦。
在劉昊看來,拉遠場景下開放的智算光網絡系統(tǒng)有助于提高模型訓練效率,短期方案是信息實時共享,這需要制定協議,如傳輸側感知無損業(yè)務類型、帶寬、VLAN等,IP側感知時延、帶寬等;終極目標是控制器管理所有設備,需要跨專業(yè)協同,難度大。整體來看,DCI場景下跨域設備管控方案建議標準先行。
據了解,在開放解耦的道路上,中國電信具備一定的經驗積累。中國電信的DCI-BOX盒式波分設備經過兩期發(fā)展迭代,具備城域內組網能力,支持10G-100G業(yè)務接入能力,單波200G/400G,具備光層組網能力,可覆蓋滿足大帶寬數據中心互聯、城域波分組網場景。
對于DCI-BOX能否繼續(xù)在智算場景發(fā)揮價值?劉昊認為,盒式波分設備支持城域組網,具備向800G演進的水平,其開放解耦的特征能夠支撐智算拉遠場景應用。
劉昊介紹,近期中國電信北京公司在現網完成城域三節(jié)點無損智算網絡部署,采用800G組網方案,分布式訓練性能達到集中式單智算中心訓練性能的90%以上,證實了分布式無損智算網技術方向的可行性。后續(xù),中國電信將在此基礎上進一步驗證更高速率組網方案,以及嘗試采用空芯光纖降低傳輸時延,驗證其對運算效率提升的影響。