DualPath是由DeepSeek與北京大學、清華大學在2月聯合發布的一款針對智慧型體（Agent）的大模型推理系統。該系統旨在解決智慧型體長文本推理場景下，因讀取KV-Cache（鍵值快取）而導致的存儲I/O頻寬瓶頸。
其核心創新在於改變了傳統的“存儲至預填充引擎”單一路徑載入模式，引入了“存儲至解碼引擎”的第二條路徑，構建了雙路徑載入機制。通過利用解碼引擎閒置的存儲網卡頻寬，並配合高速RDMA計算網路進行數據傳輸，DualPath實現了集群存儲頻寬的全局池化與動態負載均衡。在包含1152個GPU的生產集群上的實測表明，該系統將離線推理吞吐量最高提升了1.87倍，線上服務吞吐量平均提升了1.96倍。
研發背景,重要事件,核心技術,運營模式,核心團隊,
研發背景
隨著智慧型體（Agent）套用的發展，大語言模型推理面臨新的挑戰，智慧型體套用通常具有多輪對話、長上下文特點，任務時長可達數十分鐘至數小時，上下文長度可達百萬token級別，導致GPU利用率不足。KV-Cache命中率高達95%以上，在典型智慧型體任務中，KV快取命中率極高，導致推理性能的瓶頸從計算轉向了數據搬運，快取載入量與計算量之比顯著，加劇了數據搬運瓶頸。網路頻寬和HBM容量的增長滯後於GPUFLOPS增長，I/O限制日益突出；同時，HBM容量限制影響了計算批次大小。在現有的預填充-解碼分離架構中，傳統的“存儲至預填充”單一路徑載入模式將所有載入任務集中在預填充引擎的存儲網卡上，導致其頻寬飽和，而解碼引擎的存儲網卡閒置，造成了資源錯配。同時，GPU算力的增長速度快於網路頻寬和HBM容量的增長，進一步加劇了I/O限制。
重要事件
2026年2月27日，DeepSeek與北京大學、清華大學的研究團隊在預印本平台arXiv發布了關於DualPath系統的研究論文，標題為“DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference”，編號為arXiv:2602.21548。該論文介紹了旨在解決智慧型體長文本推理場景中I/O瓶頸的DualPath推理系統。
論文的核心目標是緩解因大規模KV-Cache從外部存儲讀取而帶來的I/O瓶頸問題，其提出的雙路徑載入機制有效改善了讀取瓶頸和資源失衡問題。根據論文評估，該架構在離線推理吞吐量最高提升1.87倍，線上服務吞吐量平均提升1.96倍。
核心技術
DualPath推理系統旨在解決Agentic大模型場景中因KV-Cache讀取造成的I/O頻寬瓶頸，其核心思想是計算與存儲訪問的解耦（Decoupling Compute and Memory Access），通過雙路徑載入機制實現並行化。其核心創新是開闢了“存儲→解碼→預填充”雙路徑載入機制，傳統串列架構被比喻為“下載完電影才能播放”，而DualPath實現了“邊下載邊播放”的計算與存儲訪問並行。
DualPath改變了傳統的存儲至預填充引擎單路徑載入模式，引入了存儲至解碼引擎的第二條路徑。路徑A（傳統）為存儲直接讀入預填充引擎（PE），路徑B（新增）為快取先讀入解碼引擎（DE）的緩衝池，再通過RDMA傳輸給預填充引擎。該設計允許KV-Cache先載入至解碼引擎，再通過高頻寬計算網路（RDMA）無損傳輸給預填充引擎。
在技術實現上，DualPath利用了Chunk-based Streaming（塊式流處理）技術，將龐大的KV Cache切分成一個個小塊，當計算單元在處理當前塊時預載入下一塊。
系統架構主要由推理引擎、流量管理器和中央調度器三大核心組件構成。推理引擎每個管理一塊GPU，嚴格區分為預填充引擎（PE）和解碼引擎（DE）。流量管理器負責H2D/D2H拷貝、引擎間傳輸以及SNIC存儲讀寫。中央調度器擔任“大腦”角色，實時決策每一條請求該走哪條路徑，以實現全局頻寬的最大化利用。
為實現高效雙路徑，DualPath採用以計算網卡（CNIC）為中心的流量管理，強制所有流量通過配對的CNIC走GPUDirect RDMA路徑，並利用虛擬層（VL/TC）技術將推理通信設為最高優先權以隔離流量。DualPath還配備了自適應請求調度器，通過監控節點磁碟佇列長度和Token數，優先將任務分配給I/O壓力較小且計算負載較輕的節點，避免單點擁塞。通過分析網路接口卡與DRAM頻寬，系統得出預填充與解碼節點（P:D）的最佳配置範圍在1:7到7:2之間，以最大化頻寬利用。
運營模式
DualPath系統的運營模式核心在於通過“存儲→解碼→預填充”雙路徑載入架構，結合中央調度器，實現集群存儲頻寬資源的全局池化與動態負載均衡。其關鍵運營組件包括負責路徑決策的中央調度器，以及確保系統穩定性的以計算網卡為中心的流量管理和QoS流量隔離機制。該系統已在包含1152個GPU的大規模生產集群上得到驗證，該集群採用預填充與解碼節點組合架構，在由1，152塊GPU組成的集群上支持4.8萬個並發智慧型體，配置為48P:96D。在實際測試中，離線推理吞吐量最高提升1.87倍，線上服務吞吐量平均提升1.96倍。
