PD分離架構是一種大型語言模型推理最佳化技術架構，由AMD在ROCm部落格中提出。該架構將LLM推理的Prefill（預填充）與Decode（解碼）兩個階段分離並分布在不同GPU上執行，以最佳化資源利用。該架構旨在解決千億參數級大模型推理面臨的記憶體爆炸、服務中斷、資源利用率低下等問題。
2025年9月，AMD ROCm部落格聯合SGLang框架提出了具體的實現方案。同月，SGLang社區推出了基於“Role Based Pod Group”理念的RoleBasedGroup項目。2025年12月，記憶張量與商湯科技合作，將PD分離架構與記憶結構深度耦合，重構了“記憶—計算—調度”體系。2026年2月，DeepSeek聯合清華、北大提出了“雙路徑KV-Cache載入”機制。在硬體層面，雲天勵飛公布了基於該思路規劃專用P晶片與D晶片的路線圖。2026年初，上海AI實驗室DeepLink團隊發布了首個支持國產異構算力的PD分離混合推理方案。2025年，天數智芯在軟體層面推動國內通用GPU在大模型推理PD分離技術領域實現關鍵跨越。
基本介紹
- 中文名：PD分離架構
- 別名：Prefill-Decode分離
基本含義,技術原理與特徵,發展歷程,套用,相關研究,
基本含義
PD分離架構（Prefill-Decode分離）是一種大型語言模型推理最佳化技術架構，其核心是將LLM推理的Prefill（預填充）與Decode（解碼）兩個階段解耦，並分布在不同計算單元上執行。Prefill階段負責處理完整輸入序列，構建KV cache，屬於計算密集型任務；Decode階段負責逐token生成輸出，依賴KV cache進行注意力計算，屬於記憶體訪問密集型任務，對延遲敏感。這兩個階段對硬體資源的需求存在顯著差異：Prefill階段是計算密集型，需要高算力並行處理輸入提示，占用大量GPU算力但顯存需求較低；Decode階段是記憶體密集型，依賴高頻寬顯存頻繁讀取KV快取，算力需求低但顯存占用隨上下文增長指數級上升。該架構旨在解決千億參數級大模型推理面臨的記憶體爆炸、服務中斷、資源利用率低下等問題。
傳統單體架構將兩個階段綁定在同一GPU上，容易造成計算與記憶體資源爭用，影響服務穩定性和回響速度。PD分離架構通過資源隔離，允許獨立擴展Prefill和Decode資源，實現資源利用最大化、服務延遲降低與系統吞吐量提升。PD分離架構的一個核心點是KV Cache的計算與傳遞，其影響著整個架構的調度設計。
技術原理與特徵
PD分離（Prefill-Decode Disaggregation）是一種針對大語言模型推理過程的最佳化技術，其核心思想是將推理任務的計算密集型Prefill（預填充）階段與訪存密集型Decode（解碼）階段解耦，並分配到不同的計算資源上執行。Prefill階段負責處理完整輸入序列，構建KV cache，屬於計算密集型任務；Decode階段負責逐token生成輸出，依賴KV cache進行注意力計算，屬於記憶體訪問密集型任務，對延遲敏感。傳統單體架構將兩個階段綁定在同一GPU上，容易造成計算與記憶體資源爭用。PD分離架構通過資源隔離，允許獨立擴展Prefill和Decode資源，實現資源利用最大化、服務延遲降低與系統吞吐量提升。
PD分離架構的技術必要性包括資源隔離、彈性擴展和性能最佳化。資源隔離避免預處理階段的異常導致整個推理服務中斷，實現故障域隔離。彈性擴展允許獨立擴展預處理集群和解碼集群，以適應不同階段對CPU/GPU資源的不同需求。性能最佳化通過流水線並行降低延遲，提升吞吐量。PD分離架構能顯著最佳化首token延遲（TTFT）與每token延遲（TPOT）。實測中，P99延遲降低65%，吞吐量提升2.3倍；在特定測試場景下，單卡吞吐量較單機方案可提升一倍至五倍；總體TCO（總擁有成本）可降低42%。
PD分離架構的關鍵工程實現包括數據流設計、故障恢復與監控體系。數據流設計採用預處理結果快取與版本校驗機制。故障恢復構建三級容錯機制。監控體系涵蓋資源利用率、業務指標等。其調度算法需綜合考慮KV Cache傳輸時間、任務排隊時間、計算時間，以選擇最優的Prefill和Decode節點。算法核心包括計算請求的prefix hash值以尋找最佳快取復用節點，並估算各節點總耗時以做出調度決策。
在架構演進上，通過PD分離架構可實現異構晶片（如不同代次或架構的GPU）混合推理，針對TTFT和TPOT分別最佳化Prefill與Decode節點。PD分離可與記憶管理體系（如MemOS）深度耦合，構建“記憶-計算-調度”一體化推理底座。在此架構中，Prefill域（P域）成為“記憶工廠”，專注於KV Cache批量預生成；Decode域（D域）成為“實時互動前台”，確保低延遲生成。這種結合使Prefill批量化可調度、Decode前台低抖動成為可能。PD分離架構面臨狀態依賴、部署運維複雜等挑戰；同時，針對KV-Cache讀取負載不均等新瓶頸，出現了如DeepSeek提出的“雙路徑KV-Cache載入”（DualPath）等最佳化機制。
發展歷程
PD分離架構作為一種最佳化思路，隨著大模型推理性能瓶頸的凸顯而受到業界關注。2025年5月，阿里雲開發者社區詳細解讀了Mooncake論文，闡述了以KV Cache為中心的PD分離架構及其調度算法。2025年7月，移動雲與華為昇騰合作，採用“大EP+PD分離”架構，在測試中實現了單卡吞吐量的提升。2025年9月，AMD ROCm部落格聯合SGLang框架提出了具體的PD分離架構實現方案，通過在AMD GPU上分離Prefill與Decode階段以最佳化資源利用，並闡述了動態連線、非阻塞傳輸等關鍵步驟。同月，相關深度解析文章指出，PD分離架構已成為解決大模型推理資源瓶頸的關鍵技術之一。同年9月，為應對PD分離架構生產化落地的挑戰，SGLang社區聯合阿里雲、小紅書的開發者推出了基於‘Role Based Pod Group’理念的RoleBasedGroup項目。
2025年12月，記憶張量與商湯科技合作，將PD分離架構與記憶結構深度耦合，重構了‘記憶—計算—調度’體系。此次合作在國產GPGPU上實現了以“記憶—計算—調度”一體化為核心的PD分離商用推理集群，並在真實生產環境中穩定運行。2026年2月，DeepSeek聯合清華、北大提出了‘雙路徑KV-Cache載入’機制，針對PD分離架構下KV-Cache讀取負載不平衡的問題，通過引入存儲到解碼路徑來緩解Prefill側存儲I/O的單點瓶頸。該方案被命名為DualPath框架，通過引入‘存儲到解碼’的第二條載入路徑，動態均衡負載。同月，雲天勵飛公布了基於‘PD分離’思路的晶片戰略路線圖，計畫分別研發麵向計算密集型的P晶片和面向訪存密集型的D晶片。同樣在2026年初，上海AI實驗室DeepLink團隊發布了首個支持國產異構算力的PD分離混合推理方案，通過將Prefill與Decode階段拆分到不同特性的晶片上，實現了異構資源的優勢互補。此外，NVIDIA也推出了支持PD分離部署的Dynamo框架。
套用
PD分離架構的推薦套用場景包括多用戶聊天機器人服務，用於降低延遲並提升回響速度；高並發推理平台，支持大規模請求並發處理以提升吞吐；邊緣部署與資源受限環境，通過分離架構實現資源彈性調度，適應不同硬體配置；以及多模型混合部署，其中Prefill與Decode可分別綁定不同模型或任務，以提升系統靈活性。該架構在一些推理框架或系統中有所套用，例如月之暗面Kimi的推理平台Mooncake、NVIDIA的Dynamo框架、位元組跳動的AIBrix以及llm-d等項目。天數智芯在其2025年財報中提到，其在大模型推理PD分離技術領域通過解耦推理Prefill與Decoding階段的計算任務來提升資源利用率，並通過軟體棧和開源社區完成了多個算法模型適配。該架構為異構算力協同提供了可能，例如上海AI實驗室DeepLink團隊通過該架構實現了多款異構晶片的混合推理，利用了不同晶片的特性差異。
為應對PD分離架構在生產環境中的部署、調度與運維挑戰，SGLang社區推出了RoleBasedGroup(RBG)項目，該項目基於“Role Based Pod Group”理念，旨在簡化多角色服務的部署與運維。有企業曾推出基於PD分離架構的商用推理集群。從工程實施角度看，PD分離架構的落地通常包括評估與規劃、架構設計、漸進式遷移等階段。
相關研究
PD分離架構通過將大語言模型推理的計算密集型Prefill階段與訪存密集型Decode階段解耦部署，實現資源隔離與利用最大化，為提升吞吐、降低延遲提供了結構基礎。研究表明，該架構能顯著最佳化首token延遲（TTFT）與每token延遲（TPOT），並在滿足嚴格服務級目標（SLO）的前提下，大幅提升系統Goodput（有效吞吐）。
然而，PD分離架構在生產環境落地時面臨顯著挑戰。核心矛盾在於雲原生環境擅長編排無狀態服務，而LLM PD分離推理服務本質上具有狀態依賴的特徵，特別是跨階段KV-Cache的復用，導致在部署、調度、升級、故障恢復與彈性伸縮方面產生前所未有的複雜性。
為應對上述挑戰，社區推出了如SGLang RoleBasedGroup(RBG)等項目。RBG基於“Role Based Pod Group”的設計理念，將需要緊密協同的Prefill與Decode服務角色抽象為一個整體單元，實現統一的調度與管理，旨在降低多角色模型在大規模分散式環境下的部署與運維複雜度，為PD分離架構的生產化落地提供了一套可復用的參考架構。
隨著PD分離架構的實踐深入，針對其新出現的性能瓶頸如KV-Cache讀取負載不均的研究也在推進。例如，DeepSeek等機構提出的“雙路徑KV-Cache載入”（DualPath）機制，通過引入存儲到解碼（Storage-to-Decode）路徑，重新設計數據載入方式，旨在打破Prefill側存儲I/O的單點瓶頸，進一步最佳化分離架構下的整體效率。該機制在660B參數模型上的實驗表明，其最高可將作業完成時間縮短至基準的1/1.87，平均加速比達到1.64倍。
PD分離架構的研究正與硬體設計、系統軟體等方向深度結合。其演進方向包括跨代次晶片混用、注意力層與前饋層分離（AF分離）以及專家並行微服務化（Expert Parallelism as a Service）等更細粒度的解耦與最佳化路徑。在硬體層面，出現了基於PD分離思路規劃專用P晶片（Prefill）與D晶片（Decode）的晶片路線圖，以實現計算與訪存資源的更極致最佳化。在系統層面，探索與記憶管理體系（如MemOS）結合，構建“記憶—計算—調度”一體化的推理底座，以支持智慧型體推理、長時記憶管理等更複雜的套用場景，持續挖掘架構潛力。
此外，圍繞PD分離及其最佳化，學術界與工業界湧現了多項深入研究，例如DistServe、Splitwise、TetriInfer、MemServe、Mooncake等系統或論文，從資源調度、快取管理、服務架構等不同角度推進了該領域的發展。
