推理算力是面向人工智慧實際業務套用的一種算力類型，與訓練算力相對應。AI分為訓練與推理兩大核心環節，推理環節則像“學生考試答題”，是利用已訓練好的AI模型對新輸入的數據進行分析處理並得出結論的過程。隨著大模型技術成熟，AI產業的發展重心正從模型訓練階段向推理環節轉移，產業普遍認為2025年AI推理算力消耗將首次超過訓練，成為驅動算力需求的核心引擎。
中國AI推理晶片相關產品及服務行業市場規模從2020年的113億元增長至2024年的1626億元，複合年增長率為94.9%，預計到2029年將達到13830億元。推理階段對算力需求的特徵是低延遲、高並發與高利用率，其成本控制成為商業化落地的關鍵，以OpenAI為例，其推理成本已是訓練成本的15倍以上。行業正通過模型量化、專用推理晶片（如GPNPU架構）及算力供給模式創新（如Serverless GPU）來最佳化推理性價比與部署效率。例如，GPNPU架構算力覆蓋8T至256T，業界常用“Token經濟學公式”來衡量和指導最佳化方向。2026年，全國政協委員周鴻禕表示推理算力需求將隨智慧型體規模化套用呈現快速增長，並建議在國家層面加強推理算力統籌布局，支持專用推理晶片發展。
定義與核心環節,技術特點與核心挑戰,成本最佳化與技術路徑,硬體產品與架構創新,競爭格局與未來趨勢,巨觀布局與協同推進,智慧型體套用與安全發展,
定義與核心環節
AI分為訓練與推理兩大核心環節。推理環節是利用已訓練好的AI模型，對新輸入的數據進行分析處理，得出結論、做出預測或決策的過程。隨著大模型技術成熟與套用的普及，產業重心正從模型訓練階段向推理環節轉移，推理已從訓練的附屬功能演變為一個獨立的算力領域。
有觀點指出，隨著AGI（通用人工智慧）能力的發展，推理算力的需求將隨之增長。
智慧型體處理複雜任務時，其算力需求相較於日常聊天場景顯著增加。隨著AI進入套用階段，推理算力被認為是未來產業發展的關鍵需求之一。
推理算力影響著智慧型體與企業業務流程的結合程度。有分析將訓練比作培養專家，而推理則類似於專家執行日常工作，並認為下一階段的發展重點可能在推理算力領域。最佳化推理算力布局，有助於降低企業使用AI的門檻，促進智慧型體融入業務流程。推理成本的降低與能力的普及，被視為推動“人工智慧+”與產業結合的重要因素。
當AI進入面向大眾及業務流程的規模化套用階段，推理調用量大幅增長。該階段對算力系統提出了低成本、高並發、低時延和可持續運行等多重要求。其性能瓶頸往往涉及運算元組合、並發調度、快取與訪存效率等系統級最佳化問題。競爭維度從單點算力指標擴展到軟硬協同、成本結構與交付運維等綜合能力。
中國AI推理晶片相關產品及服務行業市場規模從2020年的113億元增至2024年的1626億元，複合年增長率為94.9%，預計到2029年將達到13830億元。產業分析認為，2025年AI推理算力消耗或將超過訓練，成為驅動算力需求的主要部分，標誌著AI算力進入以推理為核心的新階段。
有行業分析進一步指出，“訓練”與“推理”算力的區分，是AI發展中的一個特點。訓練算力被視為大模型的“學習過程”，對硬體要求較高；而推理算力是大模型的“工作過程”，在成本可控性與大規模部署方面被認為更具優勢，契合企業私有化部署、智慧城市、智慧型硬體等市場對端側推理算力的需求。
技術特點與核心挑戰
AI技術分為訓練與推理兩大核心環節。推理環節則像“學生考試答題”，是利用已訓練好的AI模型，對新輸入的數據進行分析處理，進而得出結論、做出預測或決策的過程。
與訓練階段相比，推理階段的算力需求有所不同：從計算邏輯來看，推理過程無需調整模型參數，僅需基於已訓練完成的模型進行數據輸入與結果輸出，因此對算力的規模需求遠低於訓練階段，但對計算的實時性要求更高；從存儲需求來看，推理階段無需留存梯度與最佳化器狀態等訓練相關數據，存儲壓力大幅降低；從通信需求來看，推理階段的通信主要聚焦於輸入輸出數據的傳輸，更注重傳輸的穩定性與高效性。
全國政協委員周鴻禕進一步闡述了二者的核心差異：訓練算力是大模型的“學習過程”，需要萬卡集群、高速網際網路，對硬體的穩定性和協同性要求極高；而推理算力是大模型的“工作過程”，對硬體的要求更低、成本也更可控，可像雲服務一樣無限疊加。這一差異也決定了“訓推分離”的產業必然趨勢。
全國政協委員周鴻禕指出，智慧型體的落地，要求算力發展重心從訓練轉向推理。訓練算力是AI發展的重要基礎，但推理算力決定著智慧型體能否真正進入企業業務流程。
核心挑戰在於高昂的推理成本，已成為AI套用規模化落地的主要瓶頸。GPT-4等大模型的年推理費用可達數百億美元級別；以OpenAI為例，其推理成本已是訓練成本的15倍以上，且這個倍數正以指數級速度攀升。
隨著以智慧型體（Agent）為核心的AI套用落地，推理算力需求面臨新的增長壓力。全國政協委員周鴻禕指出，智慧型體落地所需的算力遠超大模型簡單對話的算力消耗，高頻次、長流程的業務套用直接拉動推理算力需求激增。智慧型體處理複雜任務時，其算力需求呈指數級增長。
挑戰的本質已從單純追求“單點算力峰值”，轉向在“真實負載約束下做系統最最佳化”。推理不僅需要滿足低成本、高並發、低時延等多重約束，還要在效果、性能與成本之間取得平衡。推理商業化的核心變數是單位成本與單位能效，最終比拼的是在可控成本下能承載多大規模的並發請求、能做到怎樣的時延穩定性。
成本最佳化與技術路徑
百億智慧型體時代的到來，也催生了算力需求的爆發式增長，甚至有望實現上萬倍級攀升，算力成為產業規模化落地的核心關鍵。
降低推理算力的單位成本，是推動AI大規模商業化落地的核心挑戰。隨著產業重心從模型訓練轉向推理套用，最佳化推理成本成為決定技術可行性與商業成敗的關鍵。業界常用“Token經濟學公式”（百萬Token成本 = (年資本開支+年營運成本) ÷ (加速卡年吞吐量×設備利用率)）來衡量和指導最佳化方向，該公式將成本最佳化指向硬體投入、運維消耗、軟體最佳化、生態適配四個協同維度。
在模型層面，通過量化、剪枝、稀疏化以及模型架構最佳化等技術，直接降低模型的計算複雜度和存儲需求，從而減少單次推理的算力消耗。在框架與系統層面，通過運算元融合、Continuous Batching、KV-Cache最佳化、流水線並行以及以虛擬記憶體方式管理顯存等技術，提升計算任務的調度效率、記憶體利用率和系統整體吞吐量，有效應對推理階段的高並發、低時延需求。
在硬體層面，專門針對推理負載最佳化的晶片通過精簡邏輯控制、最佳化顯存頻寬與算力配比、軟硬協同設計，能夠提供數倍於通用GPU架構的能效比與性價比。例如，GPNPU架構融合GPU的通用性與NPU的高能效，通過“算力積木”、3D堆疊存儲等關鍵技術，旨在實現國產工藝下的全鏈路自主可控與高性價比推理。ASIC等專用推理晶片在推理場景下的性價比據稱可提升30%-40%。
聚焦算力提質增效，大力發展專用推理晶片，降低企業用算力成本，拓寬AI普惠覆蓋面。
在算力供給與調度模式上，採用分散式雲匯聚中低端GPU算力形成網路，或採用Serverless GPU服務實現按需使用、彈性伸縮、按量計費，能夠有效匹配推理請求波動大、突發性強的特點，解決剛性供給與彈性需求之間的矛盾，大幅提高資源利用率並降低閒置成本。
產業發展對算力基礎設施的依賴度持續攀升，最佳化推理算力全域布局刻不容緩。同時聯動電力、人才、安全等多方資源，依託“六力模型”實現協同發力，既要保障能源供給，補齊算力缺口，也要培育專業人才、築牢安全防線。
推理算力的成本最佳化並非單一環節的任務，而是涉及模型、算法、框架、硬體、系統調度乃至商業模式的系統化工程。未來的競爭焦點正從單點算力峰值，擴展到“軟硬協同、成本結構、交付與運維”的綜合能力。通過多維度技術路徑與供給模式的協同創新，目標是實現推理算力的“普惠化”，使其像水電一樣成為穩定、高效、經濟的基礎設施。
硬體產品與架構創新
隨著AI大模型技術的成熟與套用落地，產業重心正從模型訓練向推理環節轉移，帶動推理市場增長。中國AI推理晶片相關產品及服務行業市場規模從2020年的113億元增長至2024年的1626億元，複合年增長率為94.9%，預計2029年將達到13830億元。產業普遍認為，2025年AI推理算力消耗將首次超過訓練，成為驅動算力需求的核心因素；同時，隨著智慧型體規模化套用，預計到2027年，我國推理算力占整體算力比重將顯著提升。
全國政協委員周鴻禕在2026年建議在國家層面加強推理算力統籌布局，構建體系化的調度機制。
周鴻禕建議在晶片研發領域不必一味追求對標英偉達的高端訓練晶片，而應重點發力專用推理晶片研發。專用推理晶片不僅技術難度更低，更能契合中國市場的獨特需求——企業私有化部署需要低成本的推理算力支撐，智慧城市的攝像頭、家庭服務機器人、自動駕駛汽車等智慧型硬體，也需要端側推理晶片實現本地算力處理，擺脫對雲端的依賴。中國製造業具備把硬體做成“白菜價”的能力，一旦推理晶片成本大幅降低，將推動算力無處不在，構建起支撐智慧型體大規模套用的算力網路，為AI+實體經濟奠定基礎。
通用GPU架構圍繞訓練最佳化，在推理規模化場景下面臨效率與成本壓力。推理階段的性能瓶頸往往不是峰值算力，而是運算元組合、並發調度、快取與訪存效率。推理商業化的核心是單位成本與單位能效，最終比拼的是在可控成本下能承載多大規模的並發請求。因此，專門針對推理負載最佳化的晶片，通過精簡邏輯控制、最佳化顯存頻寬與算力配比，旨在提供高於通用架構的性價比，成為市場新趨勢。
雲天勵飛提出了GPNPU架構，其核心是融合GPU的通用性與NPU的高能效。該架構實現了國產工藝下的全鏈路自主可控，算力覆蓋8T至256T，可套用於端、邊、雲等不同場景。該架構通過圍繞推理負載進行軟硬協同設計，目標包括生態遷移友好、面向推理的運算元與數據流最佳化、以單位成本支撐更大並發。公司正疊代其第五代GPNPU架構‘Nova 500’。
華為昇騰系列晶片採用專用積體電路（ASIC）設計，基於自研的達文西架構，專為高效執行AI神經網路計算任務而最佳化，並實現全產業鏈自主可控。寒武紀推出了基於7納米工藝的思元590晶片，推理算力達512 TOPS，並全面兼容國內主流大模型。天數智芯則圍繞“訓推組合”的通用GPU路線，推出了面向推理的通用GPU產品。
當前推理硬體的競爭焦點正從單點算力指標擴展到軟硬協同、成本結構、交付與運維等綜合能力。在產業政策層面，有觀點認為應支持專用推理晶片發展，推進高精度、低時延、多模態等關鍵技術套用，並在國家層面加強推理算力統籌布局，構建體系化的調度機制。最佳化的最終目標是降低大模型推理的“百萬Token成本”，這需要通過硬體架構、軟體最佳化、運維消耗、生態適配四個維度協同實現。展望未來，AI晶片產業將進入專業化、精細化的階段，專門針對推理最佳化的晶片可能成為市場主流，為AI套用的大規模、低成本、高穩定落地提供算力支持。
競爭格局與未來趨勢
全球AI推理晶片市場呈現“一超多強”格局，英偉達憑藉CUDA生態占據主導地位，但國產晶片在推理賽道正加速替代。中國AI推理晶片賽道目前並未形成“一家獨大”的格局，華為昇騰、寒武紀、雲天勵飛等不同技術路線的廠商在並行發展。
華為昇騰系列晶片採用專用積體電路(ASIC)設計，基於自研的達文西架構。寒武紀推出了思元590晶片，推理算力達512 TOPS，並全面兼容國內主流大模型。雲天勵飛則提出了全新的“GPNPU”架構，強調面向人工智慧推理的設計。
中國AI推理晶片相關產品及服務行業市場規模從2020年的113億元增長至2024年的1626億元，複合年增長率達94.9%。預計於2024年至2029年將以53.4%的複合年增長率增長，2029年將達到13830億元。同時，全球AI推理市場規模預計也將持續擴大。
產業重心正從“模型訓練”向“推理套用”轉移，2025年有望成為算力範式從訓練驅動過渡到推理驅動的重要分水嶺。周鴻禕在2026年全國兩會期間指出，人工智慧已從“大模型能力競爭”邁向“智慧型體規模套用階段”，而消耗推理算力運行的智慧型體是將通用模型能力轉化為“專用智力”並最終形成生產力的關鍵引擎。他認為人工智慧產業迎來重要發展階段。周鴻禕預測，隨著智慧型體普及，將對AI產業格局產生深刻影響，釋放新的發展動力。全國政協委員周鴻禕在2026年全國兩會前預測，推理算力有廣闊的發展空間，建議在發展算力時應重視推理算力，並強調推理晶片具有重要的戰略價值，對算力本地化部署及智慧城市、智慧型工廠、機器人等產業發展至關重要。他預測到2027年，我國推理算力占整體算力比重將顯著提升，全球推理硬體規模亦有望大幅擴張。“訓推分離”將更為明確，專門針對推理最佳化的晶片將成為市場主流。推理階段的競爭焦點正從單點算力指標擴展到“軟硬協同、成本結構、交付與運維”的綜合能力。周鴻禕委員也建議，應築牢產業發展基礎，最佳化推理算力布局，並聯動電力、人才、安全等多方資源協同，以推動智慧型體套用落地。
推理算力的發展不僅是技術競賽，更是一場國家戰略級的產業博弈。隨著國產晶片性能突破與生態成熟，未來3-5年其市場份額有望在政務、金融等關鍵行業顯著提升。到2030年，以推理晶片為核心的賽道將形成巨大的市場規模，推理算力將像水電一樣成為數字經濟的基礎設施。
巨觀布局與協同推進
在2026年全國兩會期間，周鴻禕圍繞人工智慧高質量發展持續發聲，認為我國人工智慧產業正逐步形成“電力—算力—智力—人力—安全力—生產力”協同推進的“六力模型”。3月5日，政府工作報告首次提出“打造智慧型經濟新形態”概念，強調深化拓展“人工智慧 ”，加快推廣新一代智慧型終端和智慧型體，並在能源、算力、數據等方面作出系統部署。在這一體系中，消耗推理算力運行的智慧型體，成為將通用模型能力轉化為懂行業、懂場景的“專用智力”，並連線各要素、推動生產力形成的關鍵引擎。同時聯動電力、人才、安全等多方資源，依託“六力模型”實現協同發力，既要保障能源供給，補齊算力缺口，也要培育專業人才、築牢安全防線。
全國政協委員周鴻禕指出，最佳化推理算力布局是夯實人工智慧產業發展的基礎條件。產業發展對算力基礎設施的依賴度持續攀升，最佳化算力布局刻不容緩。全力築牢產業發展底座，最佳化推理算力全域布局。周鴻禕表示，最佳化推理算力布局，將有效降低中小企業使用AI的門檻。目前，很多中小企業並非不想用AI，而是用不起、用不好。周鴻禕特別關注推理算力結構性缺口問題，建議出台全國性布局政策，在重點產業區域建設低時延推理集群，並加速國產專用晶片研發。周鴻禕建議在國家層面加強推理算力統籌布局，構建“全國統籌、區域細化”的體系，在重點產業集聚區建設低時延、高密度的推理算力集群，並完善一體化調度機制以提高資源利用效率，同時支持專用推理晶片發展，推進高精度、低時延、多模態等關鍵技術套用。在2026年全國兩會期間，周鴻禕進一步提出了“訓推分離”的戰略建議，認為基座模型已具備基本能力，行業套用應更聚焦推理算力。周鴻禕認為，訓練算力是AI發展的重要基礎，但推理算力決定著智慧型體能否真正進入企業業務流程。他建議在接下來的算力基礎設施建設中，一定要把算力進行區分，分成訓練算力和推理算力，並希望各地在發展算力方面能夠偏向於推理算力。周鴻禕指出，推理算力在AI套用時代具有重要地位，訓練算力與推理算力在硬體要求和成本上存在差異，這支持了“訓推分離”的產業趨勢。他還指出，推理晶片對互聯要求較低、成本可控，中國企業有能力實現經濟高效的量產，其對算力本地化部署，對智慧城市、智慧型硬體、智慧型工廠的加速發展，對機器人產業、自動駕駛產業等，都有重要的戰略意義。
智慧型體套用與安全發展
在2026年全國兩會期間，全國政協委員、360集團創始人周鴻禕提出人工智慧產業“六力模型”發展框架，並指出當前產業已從大模型能力競爭轉向智慧型體規模套用階段。隨著人工智慧從“大模型能力競爭”邁向“智慧型體規模套用階段”，推理算力的價值在於為智慧型體的運行提供基礎。智慧型體成為連線算力、模型、人力與生產力的關鍵引擎，通過消耗推理算力將通用模型能力轉化為懂行業、懂場景的“專用智力”。周鴻禕強調智慧型體是全新的“數字物種”，未來將成為人類的“數字代理人”，代理用戶完成各類任務，甚至會催生出智慧型體經濟。智慧型體能力通過兩大路徑實現躍升：一是“扮演垂直角色”聚焦特定領域形成專業思維，二是構建多智慧型體協作機制，通過相互驗證、辯論、反思解決幻覺等問題。隨著智慧型體規模化套用，預計到2027年，我國推理算力占整體算力比重將顯著提升。
智慧型體規模化落地仍面臨挑戰：技術轉化門檻較高，通用模型難以直接融入企業業務流程；安全保障能力不足，智慧型體參與關鍵業務操作風險管控難度提升；複合型人才儲備不足。
針對上述問題，應實施技術與人才“雙線賦能”，由相關部門牽頭建設普惠型智慧型體公共服務平台和智慧型體課堂。平台集成模型能力與行業工具，提供全流程服務，支持中小企業低成本構建垂直領域智慧型體，平台應集成行業工具以降低中小企業套用門檻，同時推行“以模治模”的安全防護機制，並推行“以模治模”安全機制以培養複合型人才。
周鴻禕指出，智慧型體實現了稀缺安全智力資源的無限供給，如7×24小時漏洞挖掘、滲透測試，但也降低了攻擊門檻，如“黑客智慧型體”的出現，使得“以AI對抗AI”成為網路安全的唯一出路。構建新安全體系需通過安全智慧型體將防線前移，建立智慧型體的反思與監督機制，如多智慧型體協作糾錯，並關注數字貨幣、智慧型體經濟等新領域的安全隱患。
在安全層面，傳統安全體系智慧型化水平不足，且面臨“黑客智慧型體”興起帶來的不對稱對抗及AI自身風險加劇等挑戰。安全行業需加快推行“以模治模”，用AI治理AI，應在重點領域批量部署，推動安全智慧型體的規模套用與場景化部署。
