通信網(wǎng)banner.jpg)
這兩天，由胡歌主演的電視劇《繁花》迎來大結(jié)局。在最后一刻，寶總轉(zhuǎn)危為安，擺脫破產(chǎn)風(fēng)險(xiǎn)，玲子、汪小姐也迎來各自的結(jié)局。劇中人物處于巨變“繁花”時(shí)代，有著做時(shí)代弄潮兒的亢奮勁頭，寄托著觀眾對(duì)美好未來的騏驥。
可喜的是，屬于國產(chǎn)大模型領(lǐng)域的“繁花”時(shí)代來了！1月10日，中國電信星辰語義大模型TeleChat-7B版本（簡稱“TeleChat”）宣布開源，開放1T高質(zhì)量清洗數(shù)據(jù)集。此外，中國電信將在1月底開源12B版本模型，為國產(chǎn)大模型發(fā)展注入新動(dòng)能。
值得一提的是，星辰語義大模型已經(jīng)適配昇騰AI基礎(chǔ)軟硬件。雙方強(qiáng)強(qiáng)聯(lián)合，構(gòu)建國產(chǎn)化生態(tài)閉環(huán)，共同推動(dòng)國產(chǎn)大模型在千行百業(yè)落地。
歷經(jīng)2023年百模大戰(zhàn)洗禮，各家大模型已經(jīng)在語言、語音、視覺等領(lǐng)域獲得強(qiáng)大的生成能力。我們關(guān)心的是，星辰語義大模型的模型能力如何？其強(qiáng)大后盾何在？本次中國電信大模型開源將對(duì)行業(yè)帶來哪些影響？我們來一一分析。
中國電信開源星辰語義大模型，搶灘大模型賽道
生成式AI作為人工智能的“iPhone時(shí)刻”，于剛剛過去的2023年，在國內(nèi)掀起一場轟轟烈烈的“百模大戰(zhàn)”。根據(jù)《2023中國新一代人工智能科技產(chǎn)業(yè)發(fā)展報(bào)告》顯示，目前全國共有2200家人工智能企業(yè)，國內(nèi)大模型總數(shù)達(dá)238個(gè)。無論是參與企業(yè)規(guī)模，還是大模型數(shù)量，中國已然成為僅次于美國的全球第二大大模型產(chǎn)業(yè)中心。
身處轉(zhuǎn)型升級(jí)時(shí)期的電信運(yùn)營商，自然也不愿錯(cuò)過這趟AI時(shí)代的列車。2023年11月，中國電信在2023數(shù)字科技生態(tài)大會(huì)上發(fā)布了千億參數(shù)星辰語義大模型，并公布了后續(xù)的開源開放的時(shí)間表，并承諾面向開發(fā)者提供各類大模型工具支持。
這次，中國電信不僅將TeleChat-7B版本及其int8和int4量化版本的代碼開源到Github社區(qū)，還同步上架到國內(nèi)開源社區(qū)Gitee。
對(duì)于關(guān)注大模型的企業(yè)，這無疑是個(gè)利好消息，開發(fā)者可以直接下載TeleChat-7B int8量化鏡像，大大加速了面向不同場景的大模型開發(fā)進(jìn)程。
在這次開源信息中我發(fā)現(xiàn)一個(gè)亮點(diǎn)，那就是星辰語義大模型支持基于昇騰的Atlas 300I Pro推理卡運(yùn)行推理任務(wù)。目前在搜索推薦、內(nèi)容審核和OCR系統(tǒng)場景下有不錯(cuò)的表現(xiàn)。同時(shí)，星辰語義大模型可基于Atlas 訓(xùn)練服務(wù)器進(jìn)行訓(xùn)練，支持PyTorch框架的基礎(chǔ)上，增加了對(duì)昇思MindSpore框架的支持。模型精度、性能均表現(xiàn)不俗。
如前文所言，國內(nèi)似乎并不缺大模型，最新的大模型數(shù)量已經(jīng)超過了238個(gè)，但有強(qiáng)有弱。那么相比而言，中國電信推出的星辰語義大模型，其模型能力如何？技術(shù)亮點(diǎn)何在？
星辰語義大模型的優(yōu)勢很多，比如參數(shù)升級(jí)到千億、支持 96K Token 上下文理解等。這里我想著重說的是大模型一直以來的老大難問題——幻覺，畢竟如果大模型在金融、法律等專業(yè)領(lǐng)域一本正經(jīng)地胡說八道，會(huì)使得其專業(yè)性大打折扣。
而星辰語義大模型在業(yè)界首次提出緩解多輪幻覺的解決方案，通過關(guān)鍵信息注意力增強(qiáng)、知識(shí)圖譜強(qiáng)化、多輪知識(shí)強(qiáng)化、知識(shí)溯源能力四大技術(shù)，將AI大模型的幻覺率降低了40%，這有助于大模型變得更有“人味”，真正去理解問題本身，告別風(fēng)馬牛不相及的答案。
說到這，你肯定很關(guān)心，本次開源的星辰語義大模型具備哪些能力，能為你的企業(yè)做哪些事？
我總結(jié)了四點(diǎn)：
一是支持deepspeed微調(diào)，開源基于deepspeed的訓(xùn)練代碼，支持Zero并行顯存優(yōu)化；
二是多輪能力支持，開源多輪數(shù)據(jù)構(gòu)建方式，集成針對(duì)多輪的mask loss訓(xùn)練方式，提升問答效果；
三是外推能力提升，開源8K訓(xùn)練版本模型，還能外推到96K；
四是長文生成能力很贊，對(duì)工作總結(jié)、PPT大綱、招標(biāo)書等長文寫作任務(wù)，均能勝任。
圖：此前，運(yùn)營商首個(gè)大模型正式發(fā)布，榮膺全球榜單第7，百億參數(shù)第1
星辰語義大模型表現(xiàn)不俗，離不開中國電信三大后盾
開發(fā)出大模型只是打好地基，能為行業(yè)帶來價(jià)值才是關(guān)鍵。
目前國產(chǎn)大模型很多，但是基于大模型開發(fā)的AI原生應(yīng)用卻很少。在大模型的應(yīng)用場景落地上，星辰語義大模型在中國電信內(nèi)部以及對(duì)外企事業(yè)單位客戶的業(yè)務(wù)上，取得不錯(cuò)的反饋效果。
一方面，在中國電信內(nèi)部，星辰語義大模型賦能行文寫作、代碼編程、網(wǎng)絡(luò)故障分析以及經(jīng)營分析等場景，以行文寫作為例，其平均生成字?jǐn)?shù)超過1500字，有效采納率達(dá)到85.7%。
另一方面，在對(duì)外項(xiàng)目中，星辰語義大模型賦能企業(yè)經(jīng)營分析、政務(wù)公開咨詢、民生訴求接待等場景。
星辰語義大模型能有如此不俗的表現(xiàn)，是因?yàn)樗驹诰奕说募绨蛏咸�，其背靠著中國電�?ldquo;算、數(shù)、法”三重強(qiáng)大后盾作為支撐。
其一，海量數(shù)據(jù)。中國電信在基礎(chǔ)數(shù)據(jù)沉淀、數(shù)據(jù)流轉(zhuǎn)通道和數(shù)據(jù)標(biāo)注三個(gè)方面有核心數(shù)據(jù)優(yōu)勢。其中，基礎(chǔ)數(shù)據(jù)包括全國海量熱線咨詢對(duì)話數(shù)據(jù)、大量工單辦理數(shù)據(jù)、產(chǎn)品和活動(dòng)數(shù)據(jù)。同時(shí)，中國電信使用大量通用知識(shí)數(shù)據(jù)，為大模型算法訓(xùn)練提供堅(jiān)實(shí)基礎(chǔ)。
其二，大規(guī)模算力資源。新型深度學(xué)習(xí)架構(gòu)Transformer，在人工智能架構(gòu)中占據(jù)主導(dǎo)地位，目前主流AI模型和產(chǎn)品都是基于Transformer構(gòu)建，大模型對(duì)算力提出極大的要求。
中國電信在“2+3+7+N+M”布局基礎(chǔ)上，構(gòu)建中心、省、邊緣、端的四級(jí)算力體系，打造可滿足多個(gè)大模型同時(shí)訓(xùn)練的公共智算中心，實(shí)現(xiàn)分布式算力基礎(chǔ)設(shè)施的高效互聯(lián)。
其三，頂尖算法團(tuán)隊(duì)。中國電信大模型由下屬專業(yè)AI公司——中國電信人工智能科技公司（簡稱“電信智科”）負(fù)責(zé)開發(fā)，并建立起高精尖的業(yè)界頂尖算法科學(xué)家團(tuán)隊(duì)，在語音、語義、圖像等領(lǐng)域進(jìn)行業(yè)界核心領(lǐng)先算法進(jìn)行自研攻堅(jiān)。
據(jù)了解，電信智科員工人數(shù)800人，研發(fā)人員占比75%，均是來自一線科技公司的資深工程師和來自國內(nèi)外一流高校的應(yīng)屆生。厚實(shí)的人才積累使得公司能在對(duì)內(nèi)對(duì)外業(yè)務(wù)中，取代外部算法能力，實(shí)現(xiàn)核心算法能力的自主可控。
國產(chǎn)大模型迎來“繁花”時(shí)代
為了搶灘大模型賽道，中國電信有著自己的思考，總結(jié)起來就是三條腿走路——模型能力、場景落地和開放生態(tài)。其中，開放的生態(tài)環(huán)境是重中之重。
縱觀當(dāng)前國內(nèi)研發(fā)大模型的企業(yè)，主要以互聯(lián)網(wǎng)大廠和專業(yè)大模型公司為主。不少傳統(tǒng)行業(yè)開發(fā)者空有一身行業(yè)能力，但苦于沒有技術(shù)能力和外圍資源，只能對(duì)大模型望而生嘆。
但本次的TeleChat-7B版本開源，夯實(shí)了中國電信構(gòu)建開放生態(tài)的重要一環(huán)，降低了開發(fā)大模型的門檻，讓國內(nèi)企業(yè)集體上車，讓企業(yè)可以在中國電信構(gòu)建的大模型、算力等地基上“穩(wěn)穩(wěn)地造”。這體現(xiàn)了中國電信作為央企的責(zé)任傳承，有力支持服務(wù)型、科技型、安全型企業(yè)發(fā)展目標(biāo)落地。
與此同時(shí)，我國大模型還存在自主關(guān)鍵技術(shù)不足的問題，針對(duì)這一點(diǎn)，中國電信在核心算法上選擇自研攻堅(jiān)，并攜手昇騰AI構(gòu)建開源生態(tài)，充分體現(xiàn)了中國電信要做AI領(lǐng)域央企第一、國內(nèi)前三的信心和決心。
整體上看，此次星辰語義大模型開源，說明屬于國產(chǎn)大模型的“繁花”時(shí)代來了。面向未來，希望中國電信拾級(jí)而上，持續(xù)助力大模型快速落地到千行百業(yè)，成為推動(dòng)產(chǎn)業(yè)升級(jí)的中堅(jiān)力量。
可訪問開源倉了解詳情：
Gitee地址：
https://gitee.com/Tele-AI/tele-chat
Github地址：
https://github.com/Tele-AI/Telechat
