亚洲一区不卡,99久久精品无码一区二区免费,国产美女被遭强高潮免费一视频

端側(cè)AI發(fā)展趨勢、技術(shù)現(xiàn)狀及對電信運營商的影響

發(fā)布: 2024-04-10 10:00 | 作者: MSCBSC | 來源: 移動通信網(wǎng) | 字體: 小中大

端側(cè)AI的發(fā)展將生成式AI推向縱深

端側(cè)AI是指在終端設(shè)備上進行的輕型AI模型應(yīng)用。由于整個AI的過程都在設(shè)備端，不需要連接云端，具有速度快、功耗小、成本低、私密數(shù)據(jù)等隱私安全有保障等諸多優(yōu)點。

對于AI大模型而言，雖然訓練單個模型會消耗大量資源，但模型每年往往僅需訓練幾次，而推理則是隨著日活用戶數(shù)量及其使用頻率的增加而增加，規(guī)模遠高于訓練，導致在云端推理成本極高，生成式AI規(guī)�；卣箤㈦y以持續(xù)。要實現(xiàn)AI的規(guī)模化擴展并發(fā)揮其最大潛能，需要根據(jù)不同場景和需求分配AI計算在云和端的工作負載�；诔杀�、能耗、可靠性和時延、隱私和安全、個性化服務(wù)等考慮，終端側(cè)AI能力是賦能混合AI并讓生成式AI實現(xiàn)規(guī)�；瘮U展的關(guān)鍵。

1. 相較云側(cè)AI，端側(cè)AI的優(yōu)勢凸顯

端側(cè)AI具有低延時、高可靠性、低成本、更利于保護隱私和數(shù)據(jù)安全等顯著優(yōu)勢。

當生成式AI調(diào)用對于云的需求達到高峰期時，會產(chǎn)生大量排隊等待和高時延，甚至可能出現(xiàn)拒絕服務(wù)的情況。端側(cè)AI由于數(shù)據(jù)的存儲計算在本地，響應(yīng)速度更快，且不會出現(xiàn)與云端鏈接時網(wǎng)絡(luò)不穩(wěn)定、甚至斷線的情況，可靠性高。

通過終端獨立運行以及云-端協(xié)同承擔計算負載，可大大降低云端算力需求及能耗成本。將一些處理從云端轉(zhuǎn)移到邊緣終端可減輕云端AI基礎(chǔ)設(shè)施的壓力并減少開支，促進AI的應(yīng)用和推廣。

較云側(cè)AI，端側(cè)AI更有助于保護用戶隱私和數(shù)據(jù)安全。端側(cè)AI數(shù)據(jù)的存儲計算等都在本地，避免了傳到云端可能帶來的數(shù)據(jù)安全問題，對于個人，更有利于保障個人隱私，對于企業(yè)，更有利于保護企業(yè)的數(shù)據(jù)安全。

2. 端側(cè)AI的發(fā)展推動AI端云協(xié)同

端側(cè)AI的發(fā)展離不開AI模型技術(shù)和終端技術(shù)發(fā)展。生成式AI模型通過多種“瘦身”方式正在變小，同時終端側(cè)硬件處理能力持續(xù)提升，端側(cè)AI落地的軟硬件基礎(chǔ)逐步夯實。在降本與安全的雙重考量下，AI部署在逐漸從云側(cè)走向端側(cè)，終端和云端協(xié)同工作分流AI計算工作負載的端云混合模式或?qū)⒊蔀橹髁鞑渴鸱桨�。AI大模型的壓縮和端側(cè)推理框架的輕量化，加上邊緣算力的躍升，實現(xiàn)大模型在邊緣-端側(cè)部署、加速AI與智能終端融合的核心技術(shù)條件目前已基本就緒。

隨著模型的小型化和終端硬件技術(shù)的突破，未來每臺手機、PC都將是AI終端，這將帶來全新的用戶體驗。

手機作為使用頻率最高，使用時間最長的電子產(chǎn)品，已經(jīng)成為鏈接智能汽車、PC、耳機以及其他智能終端的中樞，植入AI大模型后能成為真正的個人智能助理。對于手機用戶來說，本地數(shù)據(jù)更具安全和隱私優(yōu)勢，對于智能助理的訓練更加精確。手機中的AI大模型，可以打破各APP之間的壁壘，實現(xiàn)跨APP相互調(diào)用，使得AI手機具有人格化、記憶、感知和管理能力，能夠觸發(fā)主動服務(wù)。

AI手機有望成為個人智能助理，為手機行業(yè)帶來更多創(chuàng)新。目前已經(jīng)上市的一些AI手機如谷歌Pixel 8及Pixel 8 Pro，具有智能助手、生成式AI圖片與音頻編輯等功能；三星Galaxy S24，有實時通話語音翻譯、AI搜索等功能；德國電信&高通&Brain.AI的T Phone，摒棄了傳統(tǒng)的App界面，完全通過AI聊天來滿足各種使用需求；小米14/14Pro搭載相關(guān)大模型，無需聯(lián)網(wǎng)，可本地端實現(xiàn)AI畫圖、智能問答、AI寫作等。

AI PC在人機交互方面有天然優(yōu)勢，擁有全模態(tài)的交互方式.能承載生活娛樂、工作、學習等多個場景,擁有大容量的本地安全存儲，適合大模型本地部署以及隱私保護,并且，PC能實現(xiàn)強算力與便攜性的平衡，是大模型實時推理和高性能計算的更為理想的平臺。根據(jù)IDC與聯(lián)想聯(lián)合發(fā)布的白皮書《AIPC產(chǎn)業(yè)（中國）白皮書》預(yù)測，AIPC將成為終端、邊緣計算和云技術(shù)的顛覆性混合體，有望在“AI+”終端中最先爆發(fā)。

資料來源：《AIPC產(chǎn)業(yè)（中國）白皮書》

23年10月， “英特爾on技術(shù)創(chuàng)新大會2023”官宣將在今年正式發(fā)布面向下一代的AI PC的英特爾酷睿Ultra處理器Meteor Lake ，以加速“AI PC”時代的到來。此外，英特爾提出“AI PC加速計劃”，宣布將為軟件合作伙伴提供工程軟件和資源，以在2025年前實現(xiàn)為超過1億臺PC實現(xiàn)人工智能特性。

端側(cè)AI的技術(shù)日益成熟

1. 端側(cè)AI模型發(fā)展迅速，性能水平直追云側(cè)

在模型側(cè)，輕量化移動模型發(fā)展迅速，軟件層面已實現(xiàn)對大模型進行量化、剪枝、蒸餾，輕量化、小型化以適應(yīng)移動端場景，結(jié)合稀疏計算等方式降低對邊緣端側(cè)算力需求。Stable Diffusion等參數(shù)超過10億的模型已能夠在手機上運行，且性能和精確度達到與云端處理類似的水平，未來擁有100億或更多參數(shù)的生成式AI模型將能夠在終端上運行。如谷歌2023年起相繼發(fā)布GeminiNano（1.8B/3.25B）、Gemma（2B/7B）等輕量化模型；Meta推出Llama2、MistralAI推出Mixtral8x-7B等開源模型，引領(lǐng)移動模型輕量化發(fā)展。

2. 終端硬件突飛猛進，已具搭載大模型能力

端側(cè)PC/Phone的AI能力主要在于搭載了相關(guān)的AI芯片。近年來端側(cè)AI芯片算力性能快速提升，為端側(cè)大模型落地做好準備。目前，高通、聯(lián)發(fā)科、英特爾、AMD等龍頭芯片廠商都相繼推出了能跑十億甚至百億量級大模型的終端AI芯片。

2023年10月，高通發(fā)布了兩款支持端側(cè)運行百億大模型的芯片——面向PC的驍龍XElite和面向手機的驍龍8Gen3。高通驍龍XElite支持在終端本地運行130億參數(shù)大模型，能以30Tokens/s的速度在終端運行70億參數(shù)的Llama-2模型。高通驍龍8Gen3支持在終端運行100億大模型。運行70億參數(shù)大模型時，每秒可生成20個token，運行StableDiffusion時，創(chuàng)作圖像只需0.6秒。

英特爾第14代酷睿Ultra 其搭載的GPU、NPU、CPU都可以承載AI算力，支持端側(cè)無網(wǎng)運行Llama2-7B。AMD推出內(nèi)置RyzenAI引擎的銳龍8040系列系列處理器，相較前一代7040，算力大幅提升的同時，在Llama2和視覺模型方面，性能提升多達40%。

端側(cè)AI的發(fā)展對電信運營商的影響深遠

隨著輕量模型性能不斷強大、端側(cè)芯片算力不斷提升，大模型部署于本地終端成為大勢所趨。IDC預(yù)測，2024年AI手機出貨量將達到1.7億部，占全球智能手機出貨量的15%。英特爾預(yù)計全球今年將交付4000萬臺AI PC，明年將交付6000萬臺，預(yù)估2025年底AI PC在全球PC市場中占比將超過20%； AI賦能有望帶來手機、PC、手表等智能可穿戴設(shè)備、平板、XR等各類數(shù)碼產(chǎn)品的換機熱潮，而更廣泛AIoT（AIoT：人工智能物聯(lián)網(wǎng)=AI人工智能+IoT物聯(lián)網(wǎng)）智能也有望在大模型加持下迎來全面升級。終端技術(shù)和產(chǎn)品的變革，將會對運營商帶來顯著的影響。

流量格局的改變。原本集中在云端的AI計算需求將部分轉(zhuǎn)移到終端，導致云流量下降，終端流量上升。由于流量結(jié)構(gòu)的變化，運營商需要適應(yīng)新的流量格局，調(diào)整網(wǎng)絡(luò)資源配置，優(yōu)化流量調(diào)度策略，降低網(wǎng)絡(luò)延遲，提升網(wǎng)絡(luò)QoS，以提升網(wǎng)絡(luò)性能和用戶體驗。

運營成本的下降。一方面，算力上云端算力被邊緣計算分流，這將減少云端算力的壓力和能源功耗，能夠降低運營的成本。另一方面，從運維的角度看，端側(cè)AI可以幫助電信運營商提升自動化網(wǎng)絡(luò)管理和維護任務(wù)能力，減少人工干預(yù)，也將降低運營的成本。

云側(cè)需求的下降。端側(cè)AI的普及可能會降低云端的價值，使云端更多成為一個簡單的存儲和計算資源提供者。一些云業(yè)務(wù)產(chǎn)品將會受到影響，如云電腦、云主機、云游戲等，運營商在技術(shù)策略上需要提升云產(chǎn)品的AI能力，使得產(chǎn)品與AI PC/AI PHONE的能力相當或領(lǐng)先。在市場策略上要降低云產(chǎn)品的資費，提升云產(chǎn)品的競爭力。

端云協(xié)同催生新業(yè)務(wù)模式。本地AI應(yīng)用將快速發(fā)展，例如本地語音識別、圖像識別、AR/VR等，運營商可以抓住機遇開發(fā)新的AI應(yīng)用和服務(wù)。如：提供本地AI模型的訓練和部署服務(wù)、開發(fā)基于本地AI的垂直行業(yè)應(yīng)用、提供本地AI安全和隱私保護解決方案等。端側(cè)AI可以幫助電信運營商開發(fā)新的邊緣服務(wù)，例如AR/VR、物聯(lián)網(wǎng)、自動駕駛等，創(chuàng)造新的收入來源。

推動5G網(wǎng)絡(luò)建設(shè)。大模型本地部署需要更強大的網(wǎng)絡(luò)連接，如AIoT的發(fā)展，將帶動高帶寬低時延廣連接的5G網(wǎng)絡(luò)的發(fā)展。電信運營商可以加快5G、5G-A網(wǎng)絡(luò)的建設(shè)，為大模型本地部署提供良好的網(wǎng)絡(luò)基礎(chǔ)。

大模型本地部署于終端對運營商是一次機遇和挑戰(zhàn)并存的變革。需要加強對端側(cè)AI技術(shù)的研發(fā)投入，提升自身技術(shù)實力。與終端設(shè)備廠商、軟件廠商等合作伙伴展開合作，構(gòu)建端側(cè)AI的生態(tài)體系。積極探索端側(cè)在各領(lǐng)域的應(yīng)用場景，開發(fā)創(chuàng)新型AI應(yīng)用和服務(wù)。制定合理的端側(cè)AI商業(yè)模式。

本文作者