發展歷程,基本特徵,套用,影響,
發展歷程
在實際產品中，該指標已成為衡量晶片競爭力的關鍵。例如，有報導稱愛芯元智的NPU其每瓦吞吐量相比基於GPU架構的傳統解決方案提升10倍。同時，英特爾Gaudi 3晶片也因其在推理能效方面的表現而受到關注。
在推理最佳化架構中，每瓦吞吐量比超低延遲更為重要。
2026年3月，英偉達CEO黃仁勛在GTC 2026大會上強調，在AI數據中心中，“每瓦Token吞吐量”是決定生產成本和收入能力的核心指標。研究機構SemiAnalysis評測顯示，從Hopper H200到Grace Blackwell NVLink 72架構，英偉達的每瓦特性能提升約35倍。
基本特徵
在AI工業革命背景下，黃仁勛在GTC 2026演講中指出：“在固定的功率下，誰的每瓦Token吞吐量最高，誰的生產成本就最低”，並強調算力效率將直接決定企業生死。每瓦吞吐量在特定套用場景下其重要性可能超過其他指標，例如在推理最佳化架構中比超低延遲更為重要。不同硬體架構在該指標上表現差異顯著，專用NPU相比基於GPU架構的傳統解決方案可實現更高的每瓦吞吐量。該指標也反映了晶片設計中峰值性能與功耗之間的權衡關係，例如降低晶片性能可以大幅降低熱設計功耗。例如，英偉達發布的Vera Rubin超級AI平台，通過“非對稱式分離推理”等技術，在萬億參數模型上實現了每兆瓦推理吞吐量提升35倍的效果，體現了硬體架構在該指標上的進步。
套用
該指標的套用已從評估單一晶片擴展到衡量整個AI數據中心（或稱“Token工廠”）的運營效率和商業模型。根據“Token工廠經濟學”理論，在固定的電力限制下，每瓦Token吞吐量最高的系統將擁有最低的AI內容（Token）生產成本，這直接決定了企業的競爭力。
例如，英偉達（NVIDIA）最新的Vera Rubin AI平台通過架構創新（如非對稱式分離推理），在萬億參數模型上實現了每兆瓦推理吞吐量提升35倍的顯著效果，成為該系統級能效比較的典型代表。
影響
在邊緣推理場景中，專用NPU的每瓦吞吐量可比基於GPU架構的傳統解決方案提升高達10倍。
隨著系統物理尺寸增大，基於銅的互連架構面臨功率密度、氣流和布線複雜性的壓力，光纖I/O可能開始發揮作用；在推理最佳化架構中，每瓦吞吐量比超低延遲更為重要。
在AI工業革命背景下，每瓦吞吐量的影響擴展到企業和國家戰略層面。在固定功率下，更高的每瓦吞吐量有助於降低AI計算的單位運營成本。同時，算力被視為國家科技基礎設施的關鍵要素。
