以多樣性算力測試體系，打造產業(yè)進步的公正“標尺”

當前，我們正在大步邁入“算力時代”。隨著整個社會加速數字化轉型，尤其是5G、人工智能、大數據、區(qū)塊鏈等技術興起，以及遠程醫(yī)療、智慧教育、無人駕駛、金融科技等應用加速落地，算力在經濟社會發(fā)展中扮演愈來愈重要的角色，成為支撐數字經濟蓬勃發(fā)展的新引擎。不同行業(yè)的多樣化應用要求不同的數據和算力支持，計算多樣性已經成為必然。

隨著多樣性算力的廣泛應用，國內現有算力產品測評和認證體系的不完善，造成了供需雙方巨大的資源和人力浪費，對于產業(yè)規(guī)模的持續(xù)發(fā)展產生了制約。為此，亟需建立開放、中立和公正的多樣性算力測評工具平臺和一致的測評體系，來降低重復性的工作，以及樹立有序競爭的產業(yè)環(huán)境促進多樣性算力持續(xù)創(chuàng)新。

2021年中國移動全球合作伙伴大會期間，中國移動聯合業(yè)界多家芯片公司共同打造的多樣性算力芯片孵化平臺“芯巢”舉行了發(fā)布儀式，聚焦“計算”與“數字本質，以孵化新型芯片為要義，提升多元化計算能力，構建開放、健全的多樣性算力生態(tài)系統(tǒng)。時隔兩年，2023年4月24日第二屆多樣性算力產業(yè)峰會上，為推動多樣性算力技術和產業(yè)發(fā)展，中國移動、華為、清華大學、中國電信、中國聯通等11家初創(chuàng)成員共同發(fā)起成立多樣性算力產業(yè)及標準推進委員會，并發(fā)布“芯巢多樣性算力孵化平臺”（簡稱“芯巢平臺”），構建敏捷、智能的芯片孕育環(huán)境，助力產業(yè)打造開放、健全的多樣性算力生態(tài)體系。

從“芯巢”到“芯巢平臺”，其宗旨在于通過以標準規(guī)范為牽引，以孵化迭代為途徑，以產業(yè)推廣為目的的一整套解決方案，以期助力提升國內多樣性算力芯片能力，快速滿足通信等重點行業(yè)極致要求的算力孵化平臺；其意義在于芯巢平臺可以提供節(jié)約人力重復性芯片測試工作、快速評估芯片服務能力、驗證多產品之間兼容性滿足程度、提供可視化報告等服務，持續(xù)推動多樣性算力發(fā)展。

如會上鄭緯民院士所總結道：“多樣性算力的規(guī)模部署，關鍵在于兩個方面，一是供給方做好軟硬件協(xié)同和異構融合創(chuàng)新，釋放多樣性算力潛能；二是需求方牽頭構建一致性測評體系，以需求和評測牽引產品快速迭代，引導用戶敢用、多用經過測評認證的多樣性算力產品�！�

而當前，用戶在采購算力軟硬件產品時，往往需要面臨多種選擇。這需要辨別各家產品的性能、功能、兼容性、安全和可靠性等，以及考慮廠商提供產品和技術后的供應保障能力，確保業(yè)務系統(tǒng)的連續(xù)性和供應鏈的安全性。鑒于算力基礎設施供應鏈的復雜性，多樣性算力測評和驗證為最終的基礎設施業(yè)主和運營方提供了多維度的測評和標準規(guī)范，如供應可靠性測評、功能性能測評、兼容性測評等。同時，測評流程規(guī)范化并符合國家和國際自愿性團體標準的規(guī)則制定，代表了產業(yè)鏈廠商的共識，為用戶提供更有力的算力基礎設施采購和招標參考。

多樣性算力的測評體系依賴大量的測試工具與IT平臺來提升測試的效率，芯巢將作為整體工具平臺的一個重要組成部分。在推委會的總體協(xié)調下為廣大成員提供服務。

目前，國內算力產品的測評和認證體系還存在著一系列問題。首先，這個體系呈現出碎片化的現狀。不同領域的企業(yè)標準、行業(yè)標準以及測評機構自定義的測評準則和工具導致缺乏統(tǒng)一的面向用戶需求的測評體系。這樣的現狀會導致測試結果無法在用戶間得到相互認可，各個用戶單位都要自行組織測評活動，這樣就會造成巨大的資源和人力浪費。

其次，測評結果缺乏可對比性�，F有的測試標準規(guī)范過于注重產品能力條目的設置，而普遍缺乏等級或者分數權重設置。測試結果通常只能發(fā)放證書或者是只能區(qū)分各個能力項通過與否的測試報告。這樣，產品的測評結果是區(qū)分不出能力等級或者測評分數高低的。各測試結果之間很難進行對比，也無法滿足用戶單位支撐采購排名的訴求，測評結果不能支撐商業(yè)評價和采購的能力。

再次，部分評測規(guī)范和工具與用戶需求脫節(jié)。第三方測評機構自行定義的測評準則或者測評工具，如各類國產化測評，缺乏相關的標準支撐或者產業(yè)共識，執(zhí)行過程中容易引起爭議。同時測評規(guī)范在制定過程中缺乏用戶單位需求的對齊，所定義的測試內容與用戶單位所關心考核內容相差較大。這樣，測評活動通常解決不了用戶單位的測評需求，導致有實力的用戶單位不得不自行組織測試。

最后，測評結果缺乏有效的背書支撐。缺乏能達成產業(yè)共識的信用背書體系來支撐產品測評結果的可對比性和可量化性。雖然用戶單位對測試結果有排名訴求，但是測評機構對產品的測評等級、等分情況和排名的信用背書存在顧慮。即使某些測評機構自定義測評比拼準則，測評結果的權威性也容易受到挑戰(zhàn)。

測評孤島化或者碎片化其實反應了個性化訴求與標準化方法之間的失衡。推委會創(chuàng)造性的提出測試內容的“原子化”和累積滿足用戶需求的測評項的題庫，并允戶單位按需從庫中編排形成個性化“考題”。推委會對原子化測試項制定過程的公信力負責，對測評實驗室的資質進行認定。用戶單位可以通過推委會平臺提出自己評測需求，參評單位可以自由參加推委會評測項的制定過程。最終形成供需雙方、三方評測、推委會平臺的多方動態(tài)平衡。推委會的三大措施包括：

測評內容“原子化”，廣泛覆蓋評測需求匯聚為測評項題庫

每個測試項定義標準化的測試用例。每個測試項定義獨立的得分評判機制。標準附錄中為相應的參考權重值。每個測評項成為“原子”，允許用戶單位基于這些原子自行編排“測評的分子鏈”。在推委會吸納眾多用戶單位訴求，形成覆蓋全面的測試項的“原子庫”。

支持個性化的產品考核方案（試卷個性化）

用戶單位有采購權這個抓手，可以定義測評排名規(guī)則。用戶單位既可以完全采用標準附錄中定義權重值，也可以個性化定義。從“題庫”中采題，或者自增補考題，組成試卷，自行定義權重值�！邦}庫”中的測試項由DCIA認證實驗室測試過的結果，可以重用，不需要重新測試，只用戶只測新增的。

分布式的背書體系

基于角色進行背書分工，分成定義測評項集合、定義產品排名考核方案、測評執(zhí)行、測評審核、結果排名等不同環(huán)節(jié)的背書主體，各主體相互配合，從而組成一個嚴謹背書分工體系，避免將背書壓力過于集中在某個角色（如測評實驗室）的弊端，解決產品測評排名難以權威背書的問題。

一個成功的測評體系需要在各方利益、貢獻之間達成動態(tài)平衡，并在產業(yè)化中實現應用與迭代。推委會作為一個產業(yè)協(xié)作平臺，正是達成動態(tài)平衡的孵化器。為了在產業(yè)應用中實現測評體系的應用與迭代，需要業(yè)主方的統(tǒng)一需求牽引，需要參與方的公正與平衡，需要核心工具和平臺的構建，也需要最終結果的應用與正向迭代。同時，測評體系建設也是知識產權密集型工作，因此需要尊重知識產權。推委會也將嘗試進行測評結果的授權和認定，為國家計算產業(yè)發(fā)展的公序良俗構建貢獻力量。

總的來說，多樣性算力測試體系離不開各方的積極參與和支持，每一個環(huán)節(jié)都需要各個領域的專業(yè)人士和機構的不斷努力和創(chuàng)新。同時，政府也需要加大對人才培養(yǎng)、科技創(chuàng)新等方面的投入，為算力行業(yè)的長期健康發(fā)展提供有力的支持。在未來，我們期待更多的人們關注和參與算力領域的發(fā)展，共同推動行業(yè)的進步和創(chuàng)新。