banner.jpg)
近日，聯(lián)通數(shù)據(jù)智能有限公司開源了首個完全在國產(chǎn) N騰 AI 基礎(chǔ)軟硬件平臺上實現(xiàn)訓(xùn)練和推理的中文原生文生圖模型，實現(xiàn)多項自主創(chuàng)新突破。
在架構(gòu)上，該模型通過在 SDXL 架構(gòu)中融合復(fù)合語言編碼模塊，實現(xiàn)了對中文長文本、多屬性對應(yīng)和中文特色詞匯的精確語義理解，對應(yīng)圖像的生成效果得到了極大提升。
在 N騰 AI 大規(guī)模算力集群上實現(xiàn)了中文原生文生圖模型的訓(xùn)練和推理，并將模型和代碼對業(yè)界開源，以推動文生圖領(lǐng)域的國產(chǎn)化進(jìn)程。
當(dāng)前的文生圖主流模型以英文輸入為主，中文原生的文生圖模型研發(fā)則相對比較緩慢，這導(dǎo)致了模型對中文語義的理解能力不足，中文特色圖片生成能力有限。中國聯(lián)通作為數(shù)字信息運營服務(wù)國家隊、數(shù)字技術(shù)融合創(chuàng)新排頭兵，長期關(guān)注中文原生大模型的發(fā)展，并走出了一條夯實基礎(chǔ)、自主研發(fā)的技術(shù)創(chuàng)新突破之路。目前，元景文生圖模型已在聯(lián)通內(nèi)外部多個項目中成功應(yīng)用，成為助力企業(yè)降本增效、智能化升級的重要一環(huán)。
架構(gòu)創(chuàng)新：引入復(fù)合語言編碼模塊，支持中文長文本輸入。原始 SDXL 的語言編碼器僅使用了英文 CLIP 模型，導(dǎo)致其一方面僅支持英文文本作為輸入，另一方面在輸入長度上也存在嚴(yán)重限制（最長 77 個 token）。對此，元景文生圖模型一方面將英文 CLIP 模型替換成中文 CLIP，使得模型中文短文本輸入具有更好的理解能力；同時，引入復(fù)合語言編碼架構(gòu)，將基于 encoder-decoder 架構(gòu)的語言模型引入了語言編碼器部分，這使得模型能支持超過 CLIP 長度限制的長文本，實現(xiàn)更準(zhǔn)確的中文語義理解和判斷。
中文原生模型：支持中文原生語義理解和中文特色圖像生成。通過引入復(fù)合語言編碼模塊，元景文生圖模型實現(xiàn)了原生中文語義理解，避免了傳統(tǒng)的利用翻譯插件等作為中介調(diào)用英文文生圖模型的方法所帶來的中文信息損失。同時通過引入海量中文圖文對數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，模型對中文專屬名詞，如鼠標(biāo)-老鼠、仙鶴-吊車等英文模型易混淆的對象，以及中文菜譜等英文模型無法理解的名詞，都能夠準(zhǔn)確理解并生成對應(yīng)的高質(zhì)量圖片。
支持國產(chǎn)全棧訓(xùn)推，打造數(shù)十個行業(yè)標(biāo)桿案例。中國聯(lián)通在國產(chǎn) N騰 AI 基礎(chǔ)軟硬件平臺上實現(xiàn)了元景文生圖模型從微調(diào)訓(xùn)練到推理的一體化適配。在微調(diào)訓(xùn)練方面，用戶可使用自定義數(shù)據(jù)集，實現(xiàn)從其它平臺至 N騰的平滑切換；在模型推理方面，接口與 Diffusers 對齊，簡單易用，支持單卡和多卡，單卡推理支持 UNet Cache 加速。
通過架構(gòu)創(chuàng)新、中文原生語義支持、硬件適配等多項突破性成果，聯(lián)通元景中文文生圖模型為廣大開發(fā)者提供了研發(fā)中文定制文生圖模型和應(yīng)用的全棧支持。該模型已在聯(lián)通的多個內(nèi)外部項目中賦能文創(chuàng)、服裝、工業(yè)設(shè)計等諸多領(lǐng)域
