智算伺服器

智算伺服器是用於智慧型計算的高性能伺服器，主要用於人工智慧（AI）的訓練和推理場景。其通常採用“CPU+GPU”、“CPU+NPU”或“CPU+TPU”的異構計算架構，相比通用伺服器，具有DRAM容量更大、NAND容量更高、PCB電路板層數更多等特點。

智算伺服器市場正經歷快速發展，已成為伺服器市場中的高增長領域。單機配置8或4張GPU加速卡的智算伺服器是主流選擇，其中面向推理套用的份額約占60%。為滿足AI大模型等需求，出現了如中興通訊“3+2+3”方案、超聚變FusionPoD for AI整機櫃液冷伺服器、四通G5208智算伺服器等系列化產品。

核心技術特點

智算伺服器與傳統通用伺服器最大的區別在於算力晶片的不同。智算伺服器為了保證作業系統運行，也配置了CPU，但為了更好地完成AI計算任務，配置了更多的GPU、NPU、TPU等計算晶片（如4塊或8塊），以這些晶片輸出的算力為主。

智算伺服器通常採用「CPU+GPU」、「CPU+NPU」或「CPU+TPU」的異構計算架構，以充分發揮不同算力晶片在性能、成本和能耗上的優勢。

為了充分發揮性能以及保障穩定運行，智算伺服器在架構、存儲、散熱、拓撲等方面也進行了強化設計。例如，其DRAM容量通常是普通伺服器的8倍，NAND容量是普通伺服器的3倍，PCB電路板層數也明顯多於傳統伺服器。

AI大模型的興起對智算伺服器提出了更高的要求，特別是大模型訓練計算量巨大。大模型對智算伺服器的特殊要求體現在高性能與大顯存GPU、機內GPU高速互聯、機間高性能網際網路、高速記憶體與存儲、液冷散熱等方面。

分類與套用場景

智算伺服器主要根據其在人工智慧工作流中的功能進行分類，可分為訓練伺服器、推理伺服器和訓推一體伺服器。訓練伺服器主要利用大量數據對AI模型進行訓練，需要高性能GPU或TPU以及大容量記憶體和高速存儲設備，適用於模型開發和訓練階段。推理伺服器主要對輸入數據進行快速推理計算，生成預測結果，要求低延遲、高可靠性，通常採用低功耗的GPU或專用的推理晶片。訓推一體伺服器是既能進行模型訓練又能進行推理計算的伺服器，資源利用率高，但設計和維護成本相對較高。

根據所適配的AI模型規模與GPU加速卡形態，智算伺服器還可進一步細分。例如，系列化的智算伺服器方案可面向大、中、小不同等級的AI模型訓練、推理場景，並支持插卡型GPU加速卡和扣卡型GPU加速卡。小模型訓練及中小模型推理場景可採用通用機架伺服器配置4-8張GPU插卡；中小模型訓練及大模型推理場景可採用專用插卡型智算伺服器配置8張或更多雙寬GPU卡；大模型訓練場景則需採用支持8張SXM/OAM等扣卡型GPU加速卡、並具備機內機間高速互聯能力的專用扣卡型智算伺服器。

智算伺服器的套用場景廣泛，主要包括生成式AI大模型的訓練與推理、智慧型安防、智慧交通、智慧園區、智慧能源、智慧工業、自動駕駛、科學智慧型、網路智慧型運維與保障、智慧醫療以及金融風控等。邊緣AI推理伺服器還特別適用於需要就近處理數據的場景，如道路、園區等邊緣側的視頻分析。

硬體配置

智算伺服器的核心處理器通常支持多路高性能CPU，如英特爾至強或AMD EPYC系列。AI加速卡包括插卡型和扣卡型的GPU、NPU或TPU，通常單機配置4卡或8卡以實現並行計算。記憶體與存儲方面配備大容量DDR5記憶體和NVMe SSD等高速設備。網路與擴展提供高速網路接口如200/400G IB或RoCE，以及多個PCIe 5.0擴展槽。散熱與電源採用高性能風扇或液冷方案，並配備高功率冗餘電源。

市場與發展趨勢

2023年加速伺服器（以智算伺服器為主）預計發貨規模達31.6萬台，同比增長11.3%；營收約89.9億美元，同比增長79.7%。IDC預測，2027年加速伺服器營收將加速增長，達164億美元。

人工智慧(AI)領域正迎來新一輪快速發展，生成式AI對算力的需求迅速增加，成為AI計算市場新的增長點和加速器。大模型的訓練疊代極大的拉動了對智算的需求，模型成功部署後的推理階段也需要大量算力。

2024年以來，中國智算中心建設如火如荼。中國移動2024年至2025年新型智算中心採購包含AI伺服器7994台，成為有史以來國內最大規模的AI伺服器集采。中國聯通、中國電信也分別啟動了數千台AI伺服器的集采。同時，網際網路公司的智算伺服器合作規模也在加速倍增。

未來，智算伺服器將向綠色計算（如液冷散熱普及）、高能效、高密度、開放架構、軟硬體協同最佳化等方向發展。智算產業生態日趨完善，集聚了從智算晶片、光通信到智算伺服器等一批優質企業。多地政府（如上海）也計畫適度超前建設一批智算基礎設施。