Agentic RL（智慧型體強化學習）是一種將大語言模型視為可學習策略，通過強化學習提升其作為智慧型體與環境互動並實現長期目標能力的框架。在強化學習中，智慧型體是與環境互動的決策者。
2025年，AI領域從Chatbot時代跨越至Agent時代。在技術套用中，MiniMax M2.5模型採用了Agent RL算法，並使用了名為Forge的原生Agent RL框架和CISPO算法。智譜GLM-5模型構建了Slime框架並提出了異步智慧型體強化學習算法。Kimi在模型訓練中也進行了大規模強化學習訓練和Agentic數據合成。
基本介紹
- 中文名：智慧型體強化學習
- 外文名：Agentic RL
- 適用領域：搜尋與調研智慧型體、代碼智慧型體、數學智慧型體、GUI智慧型體、多智慧型體系統、視覺與具身智慧型體
基本含義,發展歷程,基本特徵,套用,影響,相關研究,
基本含義
Agent RL（智慧型體強化學習）是一種將大語言模型(LLM)視為可學習策略，通過強化學習提升其作為智慧型體與環境互動並實現長期目標能力的框架。
在強化學習(Reinforcement Learning, RL)中，Agent 是一個與環境互動的決策者，它通過“狀態—動作—獎勵”三元組不斷學習最優策略，目標是最大化長期回報。
發展歷程
2025年，AI領域的發展呈現出從Chatbot向Agent演進的特徵。Agent通過引入工具（Tool），改變了傳統互動邏輯，能夠實現自主運作與結果輸出。同時，強化學習（RL）在AI後訓練領域的重要性日益凸顯。
為應對Agent在長上下文、複雜任務等方面的挑戰，業界提出了新的框架與算法。例如，有研究提出了名為Forge的原生Agent RL框架，通過引入中間層來解耦底層訓練推理引擎與Agent。在算法層面，採用了如CISPO等算法以保障MoE模型在大規模RL訓練中的穩定性，並針對長上下文信用分配的挑戰引入了過程獎勵機制（Process Reward）進行全鏈路質量監控。此外，也有研究構建了支持複雜RL任務的框架，並提出了異步智慧型體強化學習算法。這些進展推動了Agent RL在架構、算法與工程層面的發展。
Agent RL的套用已從代碼生成擴展到搜尋調研、數學推理、GUI操作、多智慧型體系統等多個領域。學界與業界逐漸形成了從“氛圍編程”（Vibe Coding）到“智慧型體工程”（Agentic Engineering）的相關討論。未來的發展趨勢涉及智慧型體的並行化與異步化，對模型的並行異步思考、工具調用和自主組織工作流能力提出了要求，Agent RL被認為是實現這一發展的路徑之一。工程上的異步調度、樹狀合併樣本等策略為大規模並行訓練提供了支持。
基本特徵
Agent RL（智慧型體強化學習）是一種將大語言模型(LLM)視為可學習策略，通過強化學習提升其作為智慧型體與環境互動並實現長期目標能力的框架。
在技術架構層面，Agent RL採用原生框架如Forge，通過引入中間層解耦底層訓推引擎與Agent，支持任意腳手架的接入。在核心算法層面，為保障大規模訓練的穩定性，常沿用特定的強化學習算法如CISPO。在獎勵設計層面，針對Agent長上下文任務帶來的信用分配難題，引入了過程獎勵機制對生成質量進行全鏈路監控。
在工程最佳化層面，通過最佳化異步調度策略和樹狀合併訓練樣本等策略，實現了約40倍的訓練加速。在體驗對齊層面，通過Agent軌跡評估任務在真實環境下的完成耗時，並將其作為獎勵函式的一部分，旨在模型智慧型度與回響速度之間實現最優權衡。整體而言，Agent RL的技術體系從架構、算法、獎勵到工程層面形成閉環。
套用
Agent RL的主要套用領域廣泛，涵蓋搜尋與調研智慧型體、代碼智慧型體、數學智慧型體、GUI智慧型體、多智慧型體系統、視覺與具身智慧型體等方向。在編程領域，Agent RL正推動從“氛圍編程”(Vibe Coding)到“智慧型體工程”(Agentic Engineering)的範式轉變，使大模型能夠勝任複雜的系統工程與長程智慧型體任務。
Agent RL本身的技術方法也構成了重要的套用場景。在模型訓練中，用戶提出的複雜、真實問題可作為極高質量的訓練素材，用於驅動Agent RL訓練。
在訓練算法層面，Agent RL可用於分支路徑探索，例如配合蒙特卡洛樹搜尋（MCTS）算法，通過沙箱克隆技術瞬間生成大量相同狀態的副本以並行模擬不同路徑，從而極大地加速搜尋過程。
影響
Agent RL標誌著從Chatbot時代到Agent時代的範式轉變，其核心是讓大語言模型掌握製造與使用工具的能力。Agent RL確立了強化學習在AI後訓練中的核心地位。Agent RL推動的套用生態將延伸至作業系統控制、表格數據處理、生活服務等廣泛場景。相關基礎設施與框架如OpenRLHF、Slime框架的發展定義了行業技術範式，實現了Agent框架與RL框架的解耦。
相關研究
基於2025年10月的研究綜述，Agentic RL被定義為一種將大語言模型(LLM)視為可學習策略，通過強化學習提升其作為智慧型體與環境互動並實現長期目標能力的框架。它與傳統基於偏好的強化微調(PBRFT)在狀態、行動、轉移函式、獎勵和目標函式上存在範式差異。
當前研究通過強化學習最佳化智慧型體的多項核心能力，包括推理（如DeepSeek-R1, DAPO, Qwen3）、工具使用（如ReTool, ARTIST, GiGPO）、記憶（如RMM, Memory-R1, MemAgent）、規劃（如RAP）、自我改進（如KnownSelf, Absolute Zero, TTRL）和感知（如Vision-R1, OPENTHINKIMG, Visual Planning）。
主要套用領域包括搜尋與調研智慧型體（如search-R1, ASearcher, ZeroSearch）、代碼智慧型體（如SWE-RL, Qwen3 Coder）、數學智慧型體（如rStar2-Agent, 1Shot-RLVR）、GUI智慧型體（如UI-TARS）、多智慧型體系統、視覺與具身智慧型體（如VLN-R1, VLA-RL）。
