DualPipe

DualPipe是DeepSeek團隊開發的一種雙向流水線並行算法，由Jiashi Li、Chengqi Deng和梁文峰共同研發，於2月27日開源。它專為V3/R1等大規模AI模型訓練設計，旨在通過減少流水線中的“氣泡”（空閒時間）來提升分散式訓練效率。

該算法通過雙向調度實現前向傳播與反向傳播的計算及通信階段完全重疊，讓GPU計算與數據傳輸同時進行。實測顯示其相比傳統方法可提升約40%的訓練吞吐量，並節省約19%的顯存占用。它要求PyTorch 2.0及以上版本，並已集成至摩爾執行緒的MT-Megatron等框架。

基本介紹

• 外文名：DualPipe

研發背景

DualPipe是DeepSeek團隊開發的一種創新的雙向流水線並行算法，專門用於大規模AI模型（如DeepSeek-V3/R1）的分散式訓練最佳化，旨在解決傳統流水線並行中因等待數據傳輸而產生的“流水線氣泡”問題，提高GPU利用率。傳統流水線並行方法（如1F1B）在處理多GPU場景時，會因GPU等待數據傳輸而產生大量氣泡，可能導致30%以上的訓練時間被浪費。該算法由Jiashi Li、Chengqi Deng和梁文峰共同研發。DualPipe於2025年2月27日作為DeepSeek開源周第四天的核心內容之一首次公開發布並開源，旨在為AI社區提供高效的分散式訓練解決方案。

核心技術

DualPipe是DeepSeek團隊為大規模AI模型分散式訓練開發的一種雙向流水線並行算法，在DeepSeek-V3技術報告中首次出現。其設計目標是通過“雙向流水線調度”和“計算-通信重疊”機制，減少訓練過程中的硬體空閒時間（即“流水線氣泡”），以提升計算資源的利用率。該技術主要套用於流水線並行場景，旨在解決傳統方法（如1F1B）中因通信延遲和調度不靈活導致的效率瓶頸。

DualPipe的核心機制之一是雙向流水線並行。它採用對稱的微批次調度策略，使前向傳播和後向傳播的計算與通信階段重疊。該策略同時在兩個方向上推進微批次，形成一種幾何平衡的調度結構。其設計思想可類比為“設定往返雙車道”或“洗衣服與晾衣服同時進行”。

DualPipe的另一核心機制是計算-通信重疊。該機制通過動態調度，使GPU在進行當前計算任務（如注意力、MLP計算）的同時，後台已開始準備下一步的數據傳輸（如跨節點的All-to-All通信）。DualPipe將模型計算塊拆分為注意力、all-to-all調度、MLP和all-to-all組合等組件。通過排列這些功能模組，並調控用於通信和計算的GPU SM資源分配比例，系統能夠在運行過程中隱藏全節點通信和流水線並行通信開銷。

通過上述機制，DualPipe能減少流水線中的氣泡。在8設備訓練500B參數的模型中，相比傳統1F1B方法等待時間從35%降至5%以下。DualPipe可使氣泡減少幅度為50%以上，GPU利用率提升幅度為30%以上，訓練吞吐量提升幅度約為20%-40%。同時，該技術還能節省約19%的顯存占用。

DualPipe的技術特點包括資源利用和可擴展性。其設計確保在模型擴展時通信成本相對恆定，支持跨節點專家並行。該技術與FP8混合精度訓練協同，能在超大規模模型中保持計算與通信的平衡。DualPipe代碼已在GitHub開源，並集成至部分訓練框架中。

套用與效果

DualPipe主要套用於DeepSeek-V3、R1等超大規模模型的訓練，是這些模型訓練框架中的關鍵技術之一。DualPipe與專家並行（EP）、數據並行（DP）等技術結合使用，以應對MoE模型等複雜架構的通信挑戰。

在8設備訓練500B參數規模模型中，相比傳統1F1B方法，DualPipe將GPU等待時間（流水線氣泡）從35%降至5%以下，訓練吞吐量提升約20-40%，同時可節省約19%的顯存占用。在工業級訓練中，如在8000個NVIDIA A100 GPU集群上結合FP8混合精度訓練，DualPipe助力實現了GPT-4級別模型的高效訓練。

DualPipe還可與EPLB（專家並行負載均衡器）等技術結合，動態調整負載，進一步減少資源閒置，提升整體訓練效率。

發展歷程

2025年2月27日，在DeepSeek開源周的第四天，DualPipe與專家並行負載均衡器（EPLB）一同作為最佳化並行策略的核心工具首次開源發布。DualPipe是一種雙向流水線並行算法，由Jiashi Li、Chengqi Deng和梁文峰共同研發。代碼庫在GitHub上發布後迅速獲得社區關注，星標數超過500，成為AI分散式訓練領域的熱門工具。

2025年12月14日，DeepSeek發布了名為“終極指南”的DualPipe雙向流水線並行技術詳細說明文檔。該文檔系統闡述了其5階段流水線設計、線上推理系統架構及資源調度策略。

2026年1月，DeepSeek團隊在後續研究中擴展了DualPipe的調度策略。例如通過將MLP（FFN）層的特定核心置於高優先權計算流上執行，以更高效地實現計算與通信的重疊，並最佳化其在諸如多流殘差結構等新架構中的套用。

DualPipe技術已被集成至第三方框架，如摩爾執行緒的MT-Megatron和MT-TransformerEngine框架，體現了其開源生態價值和套用廣度。

研發團隊

DualPipe由深度求索（DeepSeek）團隊的Jiashi Li、Chengqi Deng和梁文峰共同研發。

該技術由深度求索（DeepSeek）團隊提出。開發團隊中包括了團隊創始人梁文峰。

技術評價與影響

DualPipe被認為能有效緩解管道氣泡問題，其通過雙向流水線並行算法，實現了計算任務的雙向並行處理。DualPipe與EPLB進行開源，為開發者提供了效率提升工具，並通過社區協作對AI基礎設施的發展產生了影響。DualPipe是DeepSeek在大規模模型訓練中的一項技術方案，也是其對開源社區的回饋。

在降低MoE通信開銷方面，COMET方案與DualPipe可以聯合使用，兩者結合有助於降低模型訓練成本。DualPipe的調度策略得到了擴展，通過將特定核心置於高優先權計算流上執行，以最佳化計算與通信的重疊。DualPipe已被整合進vLLM等推理系統中，並用於最佳化新的模型架構（如mHC），其套用範圍從訓練擴展到了推理及更廣泛的AI基礎設施領域。