通信網(wǎng)banner.jpg)
近日，在2024中國(guó)生成式AI大會(huì)上，中國(guó)移動(dòng)研究院網(wǎng)絡(luò)與IT技術(shù)研究所技術(shù)經(jīng)理陳佳媛受邀參加中國(guó)智算中心創(chuàng)新論壇，以《全向智感-GPU卡間高速互聯(lián)技術(shù)探討》為主題發(fā)表演講，系統(tǒng)性闡述大模型突破萬(wàn)億大關(guān)，智算基礎(chǔ)設(shè)施進(jìn)一步向“超節(jié)點(diǎn)”形態(tài)升級(jí)，GPU卡間互聯(lián)技術(shù)的發(fā)展趨勢(shì)，并提出中國(guó)移動(dòng)原創(chuàng)的GPU卡間互聯(lián)架構(gòu)——全向智感OISA（歐薩），邀請(qǐng)業(yè)界合作伙伴共建GPU開(kāi)放互聯(lián)技術(shù)體系，助力國(guó)產(chǎn)智算能力整體升級(jí)。
當(dāng)模型邁向萬(wàn)億甚至十萬(wàn)億規(guī)模，模型結(jié)構(gòu)引入MoE（Mixture of Expert）專家系統(tǒng)。MoE的稀疏化結(jié)構(gòu)可以使得模型在保持參數(shù)量和計(jì)算規(guī)模的同時(shí)，顯著提高訓(xùn)練效率，降低成本，增強(qiáng)泛化能力。MoE算法的實(shí)施也引入了全新的AlltoAll通信需求，具體表現(xiàn)為單次通信數(shù)據(jù)量少，但是通信頻繁，帶寬和時(shí)延要求極高。因此，萬(wàn)億模型的到來(lái)對(duì)底層智算設(shè)施的構(gòu)建提出了更高要求，包括百卡級(jí)別的高速互聯(lián)系統(tǒng)，更加先進(jìn)、高效的交換拓?fù)渚W(wǎng)絡(luò)以及支持跨異構(gòu)芯片的大容量池化內(nèi)存。
當(dāng)前國(guó)內(nèi)AI芯片均采用私有化的互聯(lián)方案，在互聯(lián)規(guī)模、拓?fù)�、帶寬、時(shí)延等性能方面，均距離國(guó)際先進(jìn)的英偉達(dá)NvLink+NvSwitch方案有較大差距，因此當(dāng)英偉達(dá)連續(xù)兩年推出DGX GH200和NVL72等超節(jié)點(diǎn)方案的時(shí)候，國(guó)內(nèi)鮮有對(duì)標(biāo)產(chǎn)品出現(xiàn)。
為了助力國(guó)內(nèi)AI芯片升級(jí)，在面向大模型訓(xùn)練、搜廣推等一系列巨量數(shù)據(jù)處理的業(yè)務(wù)場(chǎng)景中提出有競(jìng)爭(zhēng)力的解決方案，中國(guó)移動(dòng)原創(chuàng)提出全向智感OISA——GPU卡間高速互聯(lián)架構(gòu)，并邀請(qǐng)行業(yè)合作伙伴共建開(kāi)放標(biāo)準(zhǔn)和協(xié)議。OISA將基于對(duì)等通信架構(gòu)、極簡(jiǎn)報(bào)文格式、高效物理傳輸和靈活擴(kuò)展能力等設(shè)計(jì)理念，構(gòu)建一套可以支持百卡級(jí)別的GPU高速互聯(lián)系統(tǒng)，在支持卡間交換拓?fù)涞耐瑫r(shí)，通過(guò)對(duì)電接口、聚合技術(shù)、報(bào)文格式進(jìn)行優(yōu)化，提高GPU之間的數(shù)據(jù)傳輸效率。中國(guó)移動(dòng)未來(lái)將通過(guò)IP開(kāi)放的形式鼓勵(lì)國(guó)產(chǎn)AI芯片集成高速互聯(lián)接口，提升研發(fā)效率，幫助國(guó)產(chǎn)AI芯片快速邁向下一代智算設(shè)施的能力建設(shè)。
