端側AI

端側AI，全稱端側人工智慧，是一種將人工智慧算法和模型直接部署在智慧型手機、智慧型穿戴、汽車、物聯網設備等終端硬體上，並在設備本地完成數據處理與推理任務的技術範式。與依賴雲端伺服器的傳統AI相比，端側AI的核心在於本地化計算，其顯著優勢在於能夠實現毫秒級實時回響、增強數據隱私安全（數據無需上傳雲端），並在弱網或無網路環境下保持功能可用。該技術正驅動AI手機、AI PC、智慧型汽車、可穿戴設備等終端向“本地智慧型”演進，廣泛套用於實時語音互動、圖像處理、健康監測、自動駕駛等場景，是人工智慧從中心化雲端向分散式終端下沉的關鍵發展方向。

基本介紹

• 中文名：端側AI
• 外文名：On-Device AI
• 別名：端側人工智慧
• 類型：AI領域術語

基本含義

端側AI，即人工智慧端側計算，是指將人工智慧算法和模型部署在本地終端設備上，實現本地化的數據處理、分析和決策。其核心價值主要體現實時性、隱私性、可靠性和成本效益，數據在本地處理避免了網路傳輸延遲以實現毫秒級回響速度，敏感信息無需上傳雲端以增強數據安全性，在網路中斷時仍能正常工作保證系統持續穩定性，並減少與雲端頻繁通信以節約頻寬和計算資源。

與雲端智慧型相比，端側智慧型在回響實時性、隱私安全性、個性化程度和網路獨立性方面具有天然優勢，更適用於高實時、高隱私要求的場景；而雲端智慧型則繼續專注於需要海量數據匯集和巨量計算的大規模模型訓練與複雜模擬任務，二者協同互補。端側AI的興起是智慧型體系演進中的關鍵一環，通過將部分算力“下沉”至終端設備，實現本地化推理與決策，有效緩解雲端負載與網路傳輸壓力，提升系統回響速度與隱私保障能力。

隨著AI向智慧型體、具身智慧型演進，任務複雜度呈指數級攀升，對算力的廣度、深度和回響速度提出更高的要求，單純依賴雲端已難以兼顧成本效益、實時回響與系統可靠性，在此背景下，端側AI隨之興起。

發展歷程

端側AI的概念起源於人工智慧計算從雲端向終端設備下沉的趨勢，其核心價值包括低延遲、高隱私和高可靠性。2024年被業界定義為端側AI發展的元年，以微軟推出Copilot PC為標誌性事件，蘋果、谷歌等科技巨頭相繼發布相關產品，推動AIPC、AI手機等概念普及。

2025年至2026年，端側AI進入快速發展與規模化落地階段。端側AI成為全球消費電子展如CES 2026的焦點，產業從“拼算力”轉向“拼落地”。中國信息通信研究院預計，未來三年，我國AI手機和AI PC市場滲透率將分別突破50%和80%。國科微等晶片廠商聚焦NPU架構與工具鏈創新以適配端側大模型推理，存儲廠商如閃迪推出針對邊緣AI最佳化的高性能存儲產品。英偉達與谷歌合作最佳化Gemma 4開源模型，推動AI代理從雲端走向本地邊緣設備，標誌著推理任務向終端下沉。2024年底的端側AI生態研討會舉行，企業展示端側AI全場景硬體解決方案，億道信息啟動以“端側優先”為核心的AI代理項目。中興通訊、傳音控股等終端廠商深化端側AI戰略，發布AI原生手機等產品，並自研AIOS等技術底座，黑芝麻智慧型形成“車規晶片+具身智慧型+端側AI”的產業格局。

端側AI正驅動智慧型終端從“連線入口”向“本地智慧型體”演進，開啟更自主、安全、智慧型的新周期。

基本特徵

端側AI（On-Device AI）的核心在於將人工智慧模型的推理與決策能力部署在本地終端設備（如智慧型手機、個人電腦、智慧型汽車、可穿戴設備等）上，實現數據的本地化處理。其根本價值在於通過計算範式的變革，從集中式的雲端智慧型轉向分散式、嵌入現實終端的智慧型，從而帶來一系列區別於傳統雲端AI的根本性特徵。

端側AI的核心優勢包括低延遲與實時性、隱私與數據安全、高可靠性與網路獨立性以及降低成本與能耗。數據在本地處理避免了網路傳輸延遲，實現毫秒級回響速度；敏感信息無需上傳雲端，極大增強數據安全性；在網路中斷時仍能正常工作，保證系統持續穩定性；減少與雲端頻繁通信，顯著節約頻寬和計算資源。端側推理成本僅為雲端的1/10。

端側AI依賴於模型輕量化與最佳化、異構計算與專用硬體以及計算與存儲協同最佳化等關鍵技術。通過模型壓縮與最佳化技術實現高能效比。依託於SoC中集成的專用AI加速器（如NPU、APU、TPU等）處理AI任務，與CPU、GPU協同實現高能效比的計算。採用SRAM快取進行模型熱數據預取與復用，減少DRAM訪問，緩解頻寬瓶頸。

端側AI的規模化落地面臨算力與存儲頻寬限制、功耗與散熱瓶頸、硬體成本約束、開發碎片化與生態不統一以及套用場景的深入拓展等挑戰。終端設備的DRAM頻寬有限，限制了模型推理吞吐量；移動設備有嚴格的功耗上限，持續高強度的AI推理會導致設備發熱；硬體升級會推高整機成本；缺乏統一工具鏈導致開發周期延長；在醫療診斷等高風險場景，端側模型的準確性和安全性認證仍是難題。

端側設備（如手機、PC）的算力總量巨大，構成了一個龐大的分散式算力池。僅國記憶體量手機的智慧型算力總規模就已遠超數據中心算力。業界正探索通過層次化算力感知、面向多終端協同的資源虛擬化、多粒度多層次端算力調度以及基於區塊鏈或拍賣算法的定價機制等技術，實現端側閒置算力的共享與高效利用。

端側AI並非要取代雲端，而是與雲端智慧型形成協同互補的混合架構，即“端雲協同”。需要實時控制、涉及隱私敏感數據以及依賴本地感知的任務必須在端側處理；而需要複雜推理、海量數據訓練或超大模型算力的任務則更適合放在雲端。

套用

智慧型手機因其超高普及率、感測器完備性及隨身性，成為端側AI落地的最佳載體，套用於攝影最佳化、實時翻譯、語音助手、健康監測、隱私對話等，使手機從通信工具蛻變為“口袋超級助理”。2025年中國AI手機出貨量預計達1.18億部，滲透率突破40.7%。具體套用包括基於Gemini Nano的離線圖像描述、語音錄音摘要。目前正與主流網際網路合作夥伴攜手，共同開發新一代AI手機。

智慧型汽車作為“移動AI實驗室”，端側AI支撐智慧型座艙與智慧型駕駛系統，實現艙駕一體，處理對象檢測、車道跟蹤、導航、駕駛員狀態監控等實時任務。

AI眼鏡、智慧型手錶等可穿戴設備藉助端側AI實現無感化貼身智慧型，如健康監測、實時翻譯、AR互動等。物聯網設備通過端側AI獲得靈活的本地智慧型能力，處理即時性要求高的任務，如安防設備的信息識別與篩選。存儲技術的創新（如小尺寸、低功耗、高性能存儲）正推動AI穿戴設備向“AI隨身助理”轉變。

在智慧型家居領域，端側AI賦能智慧型家居中樞，結合AIOS等技術，在安防、康養、教育、娛樂等多場景提供本地化智慧型服務，打造“網—算—屏—體”四位一體的家庭智慧型中樞。

在工業與邊緣計算場景，通過Jetson等邊緣設備離線運行AI代理，完成質檢、控制等對實時性與可靠性要求高的任務。英偉達與谷歌最佳化的Gemma 4模型也推動了AI代理在邊緣設備上的本地化部署。

端側AI是驅動PC換機與復甦的關鍵因素。微軟Copilot PC等產品集成了高性能計算單元和至少40種AI模型，使PC走向智慧型助理。預計到2027年，AI PC全球出貨量將超過1.7億台。

影響

端側AI的興起推動了晶片、存儲等硬體技術的創新，並催生了端雲協同的混合計算架構，產業重心正從訓練側向推理側、從雲端向終端轉移。

端側AI通過數據本地化處理提升了隱私保護水平，讓敏感數據“不出設備”成為可能，降低了AI使用門檻並推動普惠智慧型，同時在藝術創作、文化體驗等領域賦能人文，例如守護創作主權、提供個性化沉浸式文化服務。

端側AI驅動了智慧型終端的換機潮與價值重估，終端從連線雲端的入口進化為可獨立執行任務的“智慧型體”，市場預計AI手機和AIPC的滲透率將快速提升。

端側AI的發展催生了如“終端即服務”、端側算力共享等新模式，為電信運營商、硬體廠商等產業鏈參與者帶來了新的增長空間。

相關研究

端側AI領域的相關研究與實踐涵蓋了產業界的商業布局、針對技術瓶頸的解決方案探索以及開發生態的建設等多個方面。

眾多科技企業正積極布局端側AI，推出相關晶片、硬體解決方案或AI代理項目，並致力於構建端側AI生態體系。例如，英偉達與谷歌合作對Gemma 4開源模型進行GPU深度最佳化，使其可在RTX PC、Jetson邊緣設備等端側高效運行。國科微聚焦FlashAttention等前沿技術在NPU平台上的落地探索，推動構建更適合端側量產部署的NPU架構與工具鏈。中興通訊深化端側AI戰略，與主流網際網路合作夥伴共同開發新一代AI手機，並自研AIOS（如Co-Claw）作為AI時代的技術底座。黑芝麻智慧型確立了以“智慧型駕駛+具身智慧型”雙主業戰略，實現從車載晶片向端側AI全棧玩家的轉型。傳音控股攻克大模型輕量化、低功耗運行、離線全適配三大技術瓶頸，推動AI終端在新興市場下沉。六聯智慧型展示了覆蓋個人、家庭/小企業及中大型企業的不同參數級別（10B、10-100B、100B+）的端側AI全場景硬體解決方案，並致力於打造完整的端側AI生態體系。億道信息正式啟動“Agent One”項目，以“端側優先、本地推理為主、雲端兜底”的混合執行模式入局AI代理賽道。

針對端側部署大模型面臨的性能、功耗、成本等挑戰，業界正探索多種解決方案。關鍵問題包括受限於設備頻寬與存儲導致的性能瓶頸、嚴苛的功耗與散熱限制以及硬體升級帶來的成本約束。相應的解決方案路徑包括模型壓縮與定製化，通過量化、剪枝、知識蒸餾等技術降低模型體積與推理需求，並推動部署場景定製模型而非通用大模型。計算與存儲協同最佳化，藉助NPU/AI引擎處理AI任務，並採用SRAM快取、Flash+DRAM動態載入等機制緩解頻寬瓶頸。混合部署架構（端雲協同），對算力需求高的場景通過雲端處理，端側僅處理輕量任務，並設計合理的雲-端切換策略。功耗與熱管理最佳化，通過異構調度、負載預測平滑等方式控制峰值功耗。產品線差異化設計，在高端產品部署更強模型作為賣點，中低端產品則部署輕量模型或依賴雲端服務以控制成本。

產業界正努力解決開發碎片化問題，推動建立更統一的端側AI開發生態和工具鏈。谷歌Android平台提供了ML Kit和GenAI API，以及通過Google Play簡化模型分發的“Play for On-device AI”工具，幫助開發者在設備端部署生成式AI和傳統ML功能。國科微等晶片企業也在不斷完善NPU工具鏈體系，以提升工程可落地性。中興通訊自研的AIOS（如Co-Claw）在能力增強、安全增強和生態拓展方面進行重點改進，旨在支撐智慧型體終端的安全可靠大規模套用。六聯智慧型組建了專門的軟體團隊，致力於連線處理器廠商和算法廠商，以打通AI技術套用的“最後一公里”，並與產業夥伴合作揭牌“AIPC和Edge AI聯合實驗室”。