Groq LPU（Language Processing Unit，語言處理單元）是由美國Groq公司專為人工智慧推理任務，特別是大語言模型（LLM）推理而設計的一種專用處理器晶片系列。其核心設計摒棄了傳統GPU依賴高頻寬記憶體（HBM）的架構，轉而採用集成大容量片上靜態隨機存取存儲器（SRAM）的方案，以實現高記憶體頻寬（如80 TB/s）和低推理延遲，在文本生成速度上表現突出。該技術因在2024年展現出突出的推理性能而受到關注。2025年底，英偉達（NVIDIA）通過戰略授權獲得了Groq LPU相關技術，並將其整合進自身的AI計算平台，於2026年推出了集成256個LPU的Groq 3 LPX機架等產品，以強化其在低延遲、高吞吐量AI推理市場的能力。
基本介紹
- 外文名：Groq LPU
- 產品類型：AI推理晶片
產品發布,發展歷程,技術原理,產品形態,性能表現,推理吞吐量與速度,延遲特性,能效與功耗,支持的框架與任務,與英偉達的整合,
產品發布
2026年3月，英偉達在美國聖何塞舉行的GTC大會上宣布推出整合Groq技術的Groq 3 LPU推理晶片及Groq 3 LPX機架。
每個Groq 3 LPU晶片集成了500 MB的SRAM，可提供150 TB/s的頻寬。
英偉達構建的Groq 3 LPX機架包含256個Groq 3 LPU處理器，提供128GB的SRAM和40 PB/s的推理加速頻寬，並通過每個機架640 TB/s的專用擴展接口將這些晶片連線起來。該機架專為滿足智慧型代理系統的低延遲與大上下文需求設計，適用於代理型AI及實時語音互動場景。
發展歷程
Groq公司由前谷歌TPU核心設計者Jonathan Ross於2016年創立。
2024年初，Groq LPU因在Llama 2、Mixtral等開源大模型上實現每秒數百甚至上千token的推理速度而引發行業關注。
早期LPU產品採用14nm工藝，單晶片集成230MBSRAM，提供高達80TB/s的超高記憶體頻寬。然而，該架構也面臨成本與通用性挑戰，為運行Llama 2-70B等大模型，需要數百張LPU卡組成集群，其總擁有成本（TCO）顯著高於同期英偉達GPU（如H100）方案。
2025年12月，英偉達與Groq達成一項價值約200億美元的非獨占技術授權協定，並招攬了Groq大部分硬體和軟體團隊。作為交易的一部分，Groq創始人Jonathan Ross、總裁Sunny Madra及大部分核心團隊加入英偉達。交易完成後，Groq公司繼續保持獨立運營。
2026年3月，英偉達在GTC大會上正式發布了基於Groq技術的Groq 3 LPU推理晶片及集成了256個該晶片的LPX機架。此舉標誌著Groq LPU技術被正式整合進英偉達的產品矩陣，構成了其“訓練用GPU + 推理用Groq LPU”雙晶片戰略的一部分。
技術原理
其核心架構創新在於採用片上集成大容量SRAM（靜態隨機存取存儲器）替代傳統GPU依賴的片外HBM（高頻寬記憶體），以突破“記憶體牆”瓶頸。例如，Groq 3 LPU集成了500 MB的SRAM，可提供高達150 TB/s的記憶體頻寬。
LPU採用確定性流水線/時序指令集計算機（TISC）架構，摒棄了傳統GPU中複雜的快取管理、分支預測和指令重排等“猜測性”硬體設計，轉而由一個功能強大的編譯器來精確調度每一個計算步驟和數據流，實現硬體執行的確定性。
其基礎計算單元為張量流處理器（TSP）。多個TSP可互聯組成分散式推理系統，實現大規模可擴展性。
該架構遵循軟體定義硬體的模式，編譯器能全局最佳化數據流，並對整個系統中指令執行和數據移動的時序進行周期級精準控制，實現跨晶片的確定性低延遲通信。
產品形態
在獨立運營時期，Groq的產品策略是提供完整的解決方案，而非單純銷售晶片硬體。其早期產品以單晶片（如GroqChip）為基礎，通過互聯數百張卡組成大規模集群來運行大型模型。Groq晶片單卡集成了230MB的片上SRAM，記憶體頻寬高達80TB/s。由於單卡記憶體容量較小，在運行如Llama 2 70B等大型模型時，需要數百張晶片協同工作。這種追求極致速度的架構在帶來高性能的同時，也面臨著初期硬體成本較高、需要大量晶片互聯導致購置和運維成本高昂的權衡。
2026年，英偉達在GTC大會上推出了整合Groq技術後的Groq 3 LPU推理晶片。每個Groq 3 LPU晶片集成了500 MB的片上SRAM，可提供150 TB/s的頻寬。英偉達構建了包含256個Groq 3 LPU的LPX機架系統，該系統提供128GB的SRAM和40 PB/s的推理加速頻寬，並通過每個機架640 TB/s的專用擴展接口將這些晶片連線起來。LPX機架採用全液冷設計，並基於英偉達MGX基礎設施構建，可無縫集成到下一代AI工廠中。該產品被設計為推理協處理器，通過與英偉達Vera Rubin等GPU平台協同，共同計算AI模型每一層來提升解碼速度，專為滿足多智慧型體（Agentic）系統的低延遲和大上下文需求而設計。
性能表現
Groq LPU是一種專為AI推理設計的加速器，其設計目標包括提升推理吞吐量與速度、降低延遲以及提高能效比。其設計旨在應對傳統GPU在記憶體訪問上的瓶頸，並支持實時互動套用。與英偉達GPU相比，LPU在特定推理場景下展現出不同的性能特點。
推理吞吐量與速度
早期LPU晶片在運行Llama 2 70B、Mixtral 8x7B等開源大模型時，推理速度可達每秒約500個token。在第三方基準測試中，Groq LPU推理引擎的吞吐量曾達到其他雲推理服務的4倍，或在運行Meta Llama 2模型時比其他雲推理服務快18倍。2026年發布的Groq 3 LPU集成於LPX機架中，當與英偉達Vera Rubin GPU協同工作時，可將人工智慧代理間通信的吞吐量從每秒100個token提升至每秒1500個token甚至更高。在單批次推理場景下，LPU的Token生成速度可穩定維持在1600 tokens/s以上。
延遲特性
LPU架構專為低延遲設計，能實現較低的首token回響時間，例如0.2秒級或更低。其採用確定性流水線架構，摒棄了傳統GPU中導致不確定性的複雜設計。同時，LPU採用片上集成大容量SRAM的方案取代了傳統GPU依賴的外部高頻寬記憶體（HBM），有效避免了因訪問外部高延遲HBM帶來的瓶頸，這是實現穩定低延遲的關鍵。
能效與功耗
LPU在單位token能耗上低於GPU，據稱可達GPU的1/10到1/3，能效比有所提升。具體功耗數據方面，LPU功耗約為300-500W，而同期英偉達H100 GPU功耗為700W。與Vera Rubin GPU結合的LPX機架方案，可實現每兆瓦推理吞吐量的提升。
支持的框架與任務
LPU主要支持PyTorch、TensorFlow、ONNX等主流機器學習框架的模型進行推理。LPU是專為推理任務設計的加速器，不支持模型訓練任務。
與英偉達的整合
2025年12月，英偉達與AI晶片初創公司Groq達成一項價值約200億美元的非獨家技術許可協定。根據協定，英偉達獲得了Groq的LPU架構、編譯器等核心技術智慧財產權，並吸納了其創始人Jonathan Ross、總裁Sunny Madra及大部分核心工程團隊加入英偉達。但Groq公司本身繼續保持獨立運營。
英偉達此舉旨在補齊自身在AI推理，尤其是低延遲、實時互動場景下的技術短板。通過整合Groq的LPU技術，英偉達計畫構建覆蓋從模型訓練（GPU）到模型部署推理（LPU）的完整解決方案，以鞏固其在AI計算領域的領導地位。
英偉達計畫將Groq LPU架構深度集成到其CUDA軟體生態及“AI工廠”硬體架構中。具體技術路徑包括通過NVFusion（或NVLink C2C）技術實現LPU與GPU的高效互聯與協同工作。在2026年3月的GTC大會上，英偉達正式發布了基於此整合的首批產品，包括Groq 3 LPU推理晶片以及集成了256個該晶片的LPX機架。該機架專為低延遲、大上下文長度的AI智慧型體（Agent）系統設計。當與Vera Rubin等GPU協同部署時，Rubin GPU和LPU通過共同計算AI模型每一層來提升解碼速度，實現高達每秒1500個token甚至更高的吞吐量，並將每兆瓦推理吞吐量最高提升35倍。
此次整合使英偉達能夠提供覆蓋AI工作負載全流程的最佳化方案。同時，通過獲得LPU的SRAM-centric和確定性流水線架構等關鍵技術，增強了其在推理市場的競爭力。整合也消除了Groq作為一個潛在架構級競爭對手的威脅。
在此交易後，Groq公司保持獨立運營，由新任CEOSimon Edwards領導。Groq繼續運營其GroqCloud雲服務業務。
