基本介紹
- 中文名：Slime訓練框架
- 外文名：Slime
研發背景,發展歷程,核心技術,重要事件,
研發背景
智譜研發並開源了Slime框架，以解決大模型強化學習效率低、穩定性差的問題。為支持GLM-4.5等大規模模型所需的高效強化學習訓練，智譜團隊設計、開發並開源了強化學習基礎設施Slime。該框架的設計旨在克服常見的強化學習瓶頸，其架構支持同步、共置訓練以及分散的異步訓練模式。Slime實現了一個將回滾引擎與訓練引擎分離的基礎設施。該框架能夠幫助開發者復現GLM級別的對齊效果。Slime是一個已被驗證可用於大規模混合專家（MoE）模型RL訓練的框架，模型規模可達3550億參數。
發展歷程
2025年7月29日，智譜團隊為支持GLM-4.5等大規模模型的強化學習訓練，設計、開發並開源了強化學習基礎設施Slime。該系統在靈活性、效率和可擴展性方面進行了最佳化。
2025年10月16日，Slime獲得AMD ROCm的Day-0支持。作為當時已知可用於大規模混合專家（MoE）模型強化學習訓練的框架之一，其模型規模支持可達3550億參數。
2025年12月25日，智譜在Reddit的AMA活動中介紹了自研的強化學習框架Slime。該框架旨在應對大模型強化學習中效率與穩定性的挑戰，其名字寓意“靈活且具有極強適應性”。
2026年2月11日，智譜AI上線並開源新一代旗艦模型GLM-5，該模型構建了名為‘Slime’的訓練框架，支持更大規模模型架構與更複雜的強化學習任務，提升了強化學習後訓練流程的效率。
核心技術
Slime是智譜AI為GLM系列大模型構建的異步強化學習訓練框架，用於更大規模模型架構與更複雜的強化學習任務。
Slime支持同步、共置訓練以及分散的異步訓練模式，這種異步範式通過解耦訓練與數據收集，有助於提高硬體利用率。
Slime實現完全解耦的基礎設施，將回滾引擎與訓練引擎分離，使其在不同硬體上獨立運行，將數據生成瓶頸轉變為並行的非阻塞過程，並在回滾引擎與訓練引擎之間對GPU進行分區。
Slime在數據生成階段策略性地使用高效的FP8格式，同時在模型訓練循環中保持BF16的穩定性，這種混合精度技術用於提高數據生成速度。
Slime原生集成SGLang執行推理，並以原生方式利用Megatron-LM進行訓練，提供完整的混合專家模型支持、配置透傳和調試模式，是可用於大規模MoE模型RL訓練的框架，模型規模可達3550億參數。Slime通過sgl-router集中管理SGLang伺服器，暴露單一HTTP端點，使環境能通過兼容OpenAI的API通信。
Slime為強化學習訓練提供同步和異步兩種核心訓練模式，並提出了Active Partial Rollout (APRIL)策略用於解決長尾瓶頸問題。
Slime的設計使其能夠集成多個智慧型體框架，支持多樣化的任務，並通過統一接口管理長期展開過程。它已在大規模代碼智慧型體強化學習訓練中得到套用，其代碼庫設計注重輕量化和可維護性。
重要事件
2025年7月，智譜團隊為支持GLM-4.5等大規模模型的強化學習訓練，開源了強化學習基礎設施Slime；2025年10月，AMD宣布為Slime提供Day-0支持，使其成為經驗證可用於大規模混合專家模型RL訓練的框架，模型規模可達3550億參數；2025年12月，智譜在Reddit上的AMA活動中介紹了自研的Slime框架，並描述了其從數據收集、清理到質量過濾的完整流水線；2026年2月，Slime作為新一代模型GLM-5的核心訓練框架發布，支持更大規模模型架構與更複雜的強化學習任務。
