FAST-GRPO

FAST-GRPO是一種用於大型視覺語言模型高效推理的快慢思維框架,由肖文懿和甘磊磊提出,其相關論文被NeurIPS 2025接收為Spotlight報告。該框架旨在解決模型在面對複雜程度不同的問題時,因生成冗長推理過程而導致的“過度思考”困境。

FAST-GRPO通過引入基於問題特徵的難度評估指標、自適應思考獎勵機制和難度感知的KL正則化等組件,使模型能夠針對不同難度的問題調整推理深度。在七個主流推理基準上的實驗表明,採用此方法訓練的模型在效果上相比基線提升超過10%,同時推理所用的token數量比之前的“慢思考”方法減少了32.7%至67.3%。

基本含義,發展歷程,基本特徵,影響,相關研究,

基本含義

FAST-GRPO(全稱Fast-Slow Thinking GRPO)是一種基於強化學習訓練、用於大型視覺語言模型推理的高效方法,屬於GRPO算法的一個變體。
FAST-GRPO的核心是“快慢思維”(Fast-Slow Thinking)理念,旨在解決大型視覺語言模型在推理時易產生的“過度思考”(overthinking)問題。該方法通過引入問題難度評估指標,使模型能夠根據輸入問題的難易程度,動態地自適應選擇“快速”或“慢速”推理模式。從而在保證或提升推理準確性的同時,顯著降低計算開銷(Token使用量)。

發展歷程

FAST-GRPO框架於2025年5月被提出。相關研究論文被頂級會議NeurIPS 2025錄用並獲得Spotlight榮譽。論文的主要作者為肖文懿(Xiao, Wenyi)和甘磊磊(Gan, Leilei),其所屬單位為軟體學院。

基本特徵

FAST-GRPO是一個基於強化學習訓練的視覺語言大模型高效推理新方法,旨在解決大型視覺語言模型在複雜推理任務中面臨的“過度思考”問題,即針對所有問題生成冗長推理過程,導致效率低下甚至在簡單問題上準確率下降。
該框架集成了三個關鍵組件:基於模型的問題特徵化指標、自適應思考獎勵機制和難度感知KL正則化。FAST-GRPO通過引入適合多模態問題輸入特性的難度評估指標、自適應獎勵機制及動態KL正則,使其推理深度與問題難度相匹配。
實驗結果表明,在七個主流推理基準上,採用FAST-GRPO訓練的模型相較於基線模型準確率有超過10%的相對提升,同時與此前“慢思考”模型相比,token使用量減少了32.7%至67.3%。

影響

FAST-GRPO為大型視覺語言模型的高效推理提供了一種強化學習訓練新方法,通過引入基於模型的問題特徵化指標、自適應思考獎勵機制和難度感知KL正則化,解決了模型在面對不同難度問題時“過度思考”的困境,能夠動態調整推理深度。
在七個主流推理基準上,採用FAST-GRPO訓練的模型相較於基線模型效果提升超過10%,同時與此前慢思考模型相比,token使用量減少了32.7%至67.3%,顯著降低了推理成本,有效平衡了推理任務的準確性與計算效率,為在資源受限環境(如邊緣設備、實時套用)中部署大型視覺語言模型提供了可行的解決方案。該研究成果以題為《Fast-Slow Thinking GRPO for Large Vision-Language Model Reasoning》的Spotlight論文形式發表於人工智慧頂級會議NeurIPS 2025。

相關研究

當前,面向複雜推理任務的大型視覺語言模型,常常針對所有問題生成冗長的推理過程,陷入“過度思考”的困境,這導致效率低下且在簡單問題上甚至會導致準確率下降。
FAST-GRPO是GRPO算法的一個變體,針對大型視覺語言模型推理進行了改進。其核心是引入了適合多模態問題輸入特性的難度評估指標、自適應獎勵機制及動態KL正則化,以動態調整推理深度。

相關詞條

熱門詞條

聯絡我們