英偉達推理情境記憶體存儲平台是由英偉達推出的一款AI原生存儲基礎設施。該平台在2026年國際消費電子展上發布，核心架構是在GPU HBM與傳統存儲之間引入一個獨立高速存儲層，用於高效管理和共享KV Cache，旨在擴展GPU可用記憶體容量，為上下文記憶提供基礎設施支持。
該平台由BlueField-4 DPU、Spectrum-X乙太網及相應軟體組件協同實現。與傳統存儲方案相比，其可將每秒可處理的token數提升最高5倍，並實現最高5倍的能效最佳化。在Vera Rubin NVL72等系統中，該平台可為每顆GPU額外分配高達16TB的專用存儲空間。
基本介紹
- 中文名：英偉達推理情境記憶體存儲平台
- 外文名：NVIDIA Inference Context Memory Storage Platform
- 產品類型：AI原生存儲平台
- 上市時間：2026年1月
- 所屬品牌：NVIDIA
發展歷史,產品設計,技術架構,硬體基礎,網路支持,軟體棧,協同工作原理與效果,產品規格,
發展歷史
Inference Context Memory Storage Platform由英偉達於2026年1月在美國拉斯維加斯舉辦的消費類電子產品展覽會（CES）上首次發布。在主題演講中，其創始人兼執行長黃仁勛指出，AI推理瓶頸正從計算轉向上下文存儲，傳統存儲架構亟需重構，為此英偉達推出了由BlueField-4驅動的新一代AI原生存儲基礎架構。新平台全稱為NVIDIA Inference Context Memory Storage Platform（英偉達推理情境記憶體存儲平台），這是一個專為推理場景設計的AI原生存儲平台，核心目標是在GPU記憶體和傳統存儲之間創建一個獨立高速的存儲層。該平台首次將AI推理KV快取作為獨立基礎設施層設計，其可將每秒可處理的token數提升最高5倍，並實現最高5倍的能效最佳化。
產品設計
NVIDIA Inference Context Memory Storage Platform（英偉達推理情境記憶體存儲平台）在2026年國際消費類電子產品展覽會（CES）上發布。其核心設計理念是在GPU HBM與傳統NVMe SSD之間引入一個面向KV Cache的獨立高速存儲層，旨在創建一個“第三層”存儲。
該平台硬體核心基於BlueField-4 DPU進行數據管理和訪問加速，網路層面依賴Spectrum-X乙太網提供高速RDMA共享，軟體層面整合DOCA、NIXL和Dynamo等組件進行系統最佳化與調度。
該平台通過擴展GPU可用記憶體容量，為上下文記憶提供基礎設施支持，並實現跨節點的高速共享，從而支持長期運行、多輪對話和多智慧型體協作的AI套用。
該平台旨在提高AI推理任務中處理token的效率和能效。在Vera Rubin NVL72機架中，通過4顆BlueField-4直接管理高達150TB的上下文記憶體池，為每顆GPU額外分配16TB的專用NAND上下文空間。在Rubin架構下，單卡容量可達20TB。在VR NVL144機架配置中，每個計算托盤配備一顆帶有512GB SSD的BlueField-4DPU。
AI推理的瓶頸正從計算轉向上下文存儲，傳統網路存儲對短期上下文而言效率較低。該平台通過構建獨立的、高速可共享的“記憶層”，旨在緩解GPU處理海量KV快取時的壓力，從而推動AI原生存儲架構的重構。
技術架構
英偉達推理上下文記憶體存儲平台的核心目標是在GPU HBM與傳統NVMe SSD之間創建一個面向KV Cache的獨立高速存儲層，用於承載warm/long context狀態，以解決AI推理的存儲瓶頸。
硬體基礎
該平台由NVIDIA BlueField-4數據處理器（DPU）驅動。在Vera Rubin NVL72機架中，通過4顆BlueField-4直接管理高達150TB的上下文記憶體池。在VR NVL144機架中，每個計算托盤配備一顆帶有512GB SSD的BlueField-4 DPU。
網路支持
軟體棧
平台包含DOCA、NIXL和Dynamo等軟體組件，負責在系統層面最佳化調度、降低延遲、提升整體吞吐。Dynamo KV快取上下文記憶體管理系統是核心軟體組件之一。
協同工作原理與效果
硬體（BlueField-4）、網路（Spectrum-X）與軟體（DOCA、NIXL、Dynamo）協同設計，共同加速上下文數據的管理與訪問，減少數據搬移和系統開銷。該設計旨在提升系統處理token的效率與能效。
產品規格
該平台可為每顆GPU額外分配16TB的專用NAND上下文空間。相較Blackwell架構的單卡8TB容量，採用新平台的Rubin架構單卡總容量將增至20TB，增幅達150%。在Vera Rubin NVL72機架中，通過4顆BlueField-4 DPU管理高達150TB的上下文記憶體池；在VR NVL144機架中，每個計算托盤配備一顆帶有512GB SSD的BlueField-4 DPU，每個機架共包含18顆DPU，對應9.216TB的3D NAND快閃記憶體容量。若英偉達出貨5萬套VR NVL144機架，則需要從供應鏈獲得約0.439 EB（即439 PB）的3D NAND快閃記憶體。
