banner.jpg)
C114訊 7月20日消息（岳明）在日前召開的“中國互聯(lián)網(wǎng)大會--國家新型互聯(lián)網(wǎng)交換中心與算力網(wǎng)絡(luò)融合發(fā)展論壇”上，中國電信大模型技術(shù)專家李康作了題為《大模型帶來智算大算力發(fā)展》的主題演講。
李康指出，我國智能算力總體呈現(xiàn)出快速增長趨勢，2022年國內(nèi)服務(wù)器銷售72.55億美元，預(yù)計2025年銷售額可以達到121億；2022年智算算力整體規(guī)模在268 EFlops，預(yù)計2025達到922268 EFlops。他認為，智算算力快速增長的背后，大模型功不可沒。
大模型帶來大集群智算中心需求。大模型訓(xùn)練需要大算力，比如GPT-3，1750億的參數(shù)，使用1萬張GPU卡訓(xùn)練14.8天�，F(xiàn)在整體市場是玩家堆參數(shù)、堆性能的狀態(tài)，很多玩家涌入市場，市場的算力缺口非常大。百億、千億參數(shù)的大模型只是開始，萬億參數(shù)的大模型將慢慢的會成為主流。“從大模型發(fā)展來說，大力出奇跡，萬億參數(shù)不是終點，也只是一個階段。”
當(dāng)前，國內(nèi)算力是剛需，現(xiàn)在有一些廠商把大模型基模放到海外去訓(xùn)練，訓(xùn)練回來之后，在國內(nèi)進行微調(diào)。但是，受到數(shù)據(jù)出境限制，其實這種效果是不太好的，尤其是涉及到比如行業(yè)大模型、專屬大模型訓(xùn)練，這些數(shù)據(jù)不能出域。針對這些特點來說，這些訓(xùn)練只能在國內(nèi)進行，因此國內(nèi)的訓(xùn)練算力需求的發(fā)展是非常旺盛的。
李康表示，大模型的訓(xùn)練和推理有兩個特點，總體需求呈現(xiàn)往上提升的狀態(tài)。訓(xùn)練算力，因為當(dāng)前大模型的爆發(fā)，訓(xùn)練算力屬于飆升的狀態(tài)。但是隨著通用大模型市場趨于飽和，它的增長曲線也會逐漸放緩。但是推理算力不一樣，推理是穩(wěn)步上升的曲線，現(xiàn)在大模型市場落地還處于初步起步階段，所以現(xiàn)在推理算力需求沒那么旺盛�！拔覀冾A(yù)計2025年推理和需求達到相當(dāng)，隨后推理算力反超訓(xùn)練算力�！�
李康指出，目前英偉達依然是智算算力的供給主力，國產(chǎn)的GPU也是加速追趕。2022年，國內(nèi)AI芯片的主要份額英偉達占82%，這取決于它的非常強大的存在，尤其是早期性能和早期的大模型框架使用了CUDA架構(gòu)，所以有天然的適配性。它的生態(tài)目前來說是無法被擊破的，但是國內(nèi)現(xiàn)在也在發(fā)展，尤其是一些頭部大模型商研究機構(gòu)，已經(jīng)在開展國內(nèi)芯片的適配工作。比如說華為就派了特戰(zhàn)隊到大模型廠商現(xiàn)場進行適配需求，適配做大模型訓(xùn)練。電信也會與國產(chǎn)芯片廠商聯(lián)合打造信創(chuàng)大模型訓(xùn)練平臺，支持開創(chuàng)信創(chuàng)大模型。
