Groq3LPU

Groq3LPU是英偉達推出的第三代語言處理單元晶片。2026年，英偉達在GTC大會上宣布推出該晶片，其採用了確定性數據流架構，晶片上集成SRAM。

英偉達通過名為Dynamo的軟體，實現了“解耦推理”，將AI推理的Prefill和Attention部分交由Rubin GPU處理，而將Decode部分卸載給Groq LPU以降低延遲。單顆Groq3LPU擁有500MB SRAM。英偉達還推出了配備256個Groq3LPU的Groq3LPX推理伺服器機架，可提供128GB片上SRAM。

發布與背景

Groq 3 LPU於2026年英偉達GTC大會上，由英偉達CEO黃仁勛正式宣布推出。此次發布是英偉達在2025年聖誕夜以約200億美元完成對Groq技術授權及核心團隊收購後的首次產品落地，且已進入量產階段。在發布會上，Groq 3 LPU與NVIDIA Vera Rubin GPU等產品一同亮相，英偉達通過軟體將兩者優勢結合，首創了“解耦推理”（Disaggregated Inference）架構。同時，英偉達還宣布了搭載256顆Groq 3 LPU的推理伺服器機架Nvidia Groq3LPX，計畫於2026年下半年上市。

技術特點

Groq 3 LPU採用確定性數據流架構，晶片上全部集成SRAM，無需運行時動態調度，所有計算和數據搬運的調度在編譯階段由編譯器完成。這種架構天然適合低延遲的Token解碼與生成任務。在英偉達的“解耦推理”系統中，Groq 3 LPU專門負責推理後半段的Decode和Token生成。

由Groq團隊加入英偉達後共同設計的LP40 LPU，首次在LPU中加入了NVFP4計算能力。

技術規格

單顆Groq 3 LPU晶片集成500MBSRAM。由8顆LPU組成的陣列可提供4GB SRAM和1,200TB/s的頻寬。Groq 3 LPX伺服器整機集成256顆LPU，提供128GB片上SRAM和40PB/s頻寬。該整機具備315 PFLOPS的推理算力和640TB/s的互連頻寬，並計畫於2026年下半年上市。

性能與套用

英偉達通過名為Dynamo的軟體實現解耦推理，將推理流程拆分，Rubin GPU負責Prefill和Attention，Groq LPU負責Decode和Token生成，兩者通過乙太網緊耦合。

在高端推理任務中，據稱該組合可提升性能與每兆瓦吞吐量，並降低延遲。

該技術適用於高價值實時推理和Agent互動等場景。