基本含義
FAST-GRPO(全稱Fast-Slow Thinking GRPO)是一種基於強化學習訓練、用於大型視覺語言模型推理的高效方法,屬於GRPO算法的一個變體。
FAST-GRPO的核心是“快慢思維”(Fast-Slow Thinking)理念,旨在解決大型視覺語言模型在推理時易產生的“過度思考”(overthinking)問題。該方法通過引入問題難度評估指標,使模型能夠根據輸入問題的難易程度,動態地自適應選擇“快速”或“慢速”推理模式。從而在保證或提升推理準確性的同時,顯著降低計算開銷(Token使用量)。
發展歷程
FAST-GRPO框架於2025年5月被提出。相關研究論文被頂級會議NeurIPS 2025錄用並獲得Spotlight榮譽。論文的主要作者為肖文懿(Xiao, Wenyi)和甘磊磊(Gan, Leilei),其所屬單位為軟體學院。
基本特徵
FAST-GRPO是一個基於
強化學習訓練的
視覺語言大模型高效推理新方法,旨在解決大型視覺語言模型在複雜推理任務中面臨的“過度思考”問題,即針對所有問題生成冗長推理過程,導致效率低下甚至在簡單問題上準確率下降。
該框架集成了三個關鍵組件:基於模型的問題特徵化指標、自適應思考獎勵機制和難度感知KL正則化。FAST-GRPO通過引入適合多模態問題輸入特性的難度評估指標、自適應獎勵機制及動態KL正則,使其推理深度與問題難度相匹配。
實驗結果表明,在七個主流推理基準上,採用FAST-GRPO訓練的模型相較於基線模型準確率有超過10%的相對提升,同時與此前“慢思考”模型相比,token使用量減少了32.7%至67.3%。
影響
FAST-GRPO為大型視覺語言模型的高效推理提供了一種
強化學習訓練新方法,通過引入基於模型的問題特徵化指標、自適應思考獎勵機制和難度感知KL正則化,解決了模型在面對不同難度問題時“過度思考”的困境,能夠動態調整推理深度。
在七個主流推理基準上,採用FAST-GRPO訓練的模型相較於基線模型效果提升超過10%,同時與此前慢思考模型相比,token使用量減少了32.7%至67.3%,顯著降低了推理成本,有效平衡了推理任務的準確性與計算效率,為在資源受限環境(如邊緣設備、實時套用)中部署大型視覺語言模型提供了可行的解決方案。該研究成果以題為《Fast-Slow Thinking GRPO for Large Vision-Language Model Reasoning》的Spotlight論文形式發表於人工智慧頂級會議NeurIPS 2025。
相關研究
當前,面向複雜推理任務的大型視覺語言模型,常常針對所有問題生成冗長的推理過程,陷入“過度思考”的困境,這導致效率低下且在簡單問題上甚至會導致準確率下降。
FAST-GRPO是GRPO算法的一個變體,針對大型視覺語言模型推理進行了改進。其核心是引入了適合多模態問題輸入特性的難度評估指標、自適應獎勵機制及動態KL正則化,以動態調整推理深度。