CISPO算法，全稱為Clipped Importance Sampling Policy Optimization，是由MiniMax團隊提出的一種強化學習算法，主要用於最佳化大語言模型的訓練過程。該算法針對傳統PPO等方法在訓練中會裁剪低機率關鍵字匯（如“然而”、“重新檢查”）的問題，創新性地改為裁剪重要性採樣權重，以保留所有辭彙的梯度貢獻，旨在提高訓練效率與穩定性。實驗表明，在基於Qwen2.5-32B模型的對比中，CISPO在相同訓練步數下的表現顯著優於GRPO和DAPO等算法，並能實現2倍的訓練加速。該算法已被套用於MiniMax的M1、M2.5等多個模型系列中，用於保障混合專家模型在大規模訓練中的穩定性。
基本介紹
- 中文名：CISPO算法
- 外文名：CISPO
算法簡介,技術原理,實驗驗證,算法優勢,
算法簡介
CISPO（Clipped Importance Sampling Policy Optimization）算法是由MiniMax團隊提出的一種強化學習算法，主要用於最佳化大語言模型的訓練過程，以保障大規模訓練的穩定性。
CISPO算法的核心創新在於裁剪重要性採樣權重而非token更新，從而更好地保留長推理鏈條中的關鍵轉折點，提高學習效率和穩定性。
實驗驗證顯示，CISPO在訓練加速和性能上優於其他算法如DAPO和GRPO。
技術原理
CISPO，全稱Clipped Importance Sampling Policy Optimization，其核心創新在於改變了傳統強化學習算法（如PPO/GRPO）的策略更新方式。傳統方法直接裁剪（clip）token級別的更新幅度，而CISPO選擇裁剪重要性採樣（Importance Sampling）權重。
傳統方法在處理低機率但關鍵的推理辭彙（如“然而”、“重新檢查”、“啊哈”等表示反思和轉折的辭彙）時存在局限性。這些辭彙在長序列推理任務中至關重要，但因其在基礎模型中機率較低，在傳統方法的裁剪機制下容易被抑制或丟棄，從而阻礙了模型深度推理能力的學習。
裁剪重要性採樣權重這一機制的優勢在於保留所有token的梯度貢獻，特別是長回響中的關鍵轉折點token，其梯度信息得以保留，從而提升模型複雜推理能力。該機制通過權重裁剪而非token裁剪來控制更新的幅度，有助於減少方差，穩定訓練。這可以類比為“調節所有學生髮言的音量”，而非“禁止某些學生髮言”，確保所有信息都能被適當考慮。
CISPO的算法推導基於標準的REINFORCE目標函式，並引入了裁剪的重要性採樣權重。研究團隊還提出了一個更通用的、通過token級別掩碼來控制梯度的統一框架，這為算法提供了更靈活的表述。
實驗驗證顯示，在基於Qwen2.5-32B等模型的對比實驗中，CISPO在數學推理（如AIME 2024數據集）等任務上，性能顯著優於DAPO、GRPO等算法，並能實現約2倍的訓練加速。該算法後續在MiniMax M2.5、M2等模型的訓練中得到沿用，用於保障大規模訓練（尤其是MoE架構）的穩定性，證明了其技術原理的魯棒性和可擴展性。
實驗驗證
在基於Qwen2.5-32B模型的實驗中，CISPO與GRPO、DAPO等算法進行對比，在AIME 2024數學競賽數據集等評測基準上進行對比。
實驗驗證顯示，在相同訓練步數下，CISPO顯著優於競爭算法，實現約2倍的訓練加速，用50%的訓練步數就能達到DAPO的性能水平。CISPO算法的收斂性能比DAPO等算法快了一倍，在長期訓練中表現出更好的穩定性和對超參數的魯棒性。
Meta等機構在超過40萬小時的實驗中採用CISPO損失函式。
算法優勢
CISPO算法通過裁剪重要性採樣權重而非token更新的方式，在訓練穩定性、效率及模型能力方面具有一定特點。
在技術性能上，CISPO算法保留了所有token的梯度貢獻，避免丟失關鍵推理信息。通過權重裁剪減少訓練方差，有助於提升訓練穩定性。其算法設計較為簡化，無需KL懲罰項。CISPO的訓練過程較為穩定，對超參數的魯棒性較強。
在經濟效益與訓練效率方面，CISPO算法提高了訓練效率，如在基於Qwen2.5-32B模型的對比實驗中，對比DAPO實現了訓練加速。該算法有助於降低計算成本和資源消耗。
在模型能力提升上，CISPO算法對模型在需要長鏈思維、複雜推理任務上的能力有所提升。該算法適合訓練大規模、長上下文的場景。
在理論貢獻與可擴展性方面，CISPO揭示了傳統token級裁剪在長序列推理任務中的弊端。該算法具有較好的可擴展性，為大規模強化學習訓練提供了新思路和基線。
