基本介紹
- 外文名：FireAct
- 適用領域：語言模型微調
- 提出時間：2023年
基本含義,發展歷程,基本特徵,套用,影響,相關研究,
基本含義
FireAct是一種針對語言模型（LM）的微調方法，旨在提高其作為智慧型體的整體性能和適用性，它由論文《FireAct:Toward Language Agent Fine-tuning》的作者提出，是一種新的智慧型體架構。其核心思想是利用多個任務和多種提示方法生成的智慧型體“行動軌跡”來微調語言模型，該方法建立在ReAct（Reasoning and Acting）框架的基礎之上，並參考了思維鏈（CoT）和Reflexion等與ReAct兼容的方法。
FireAct的目標是讓模型更好地適應不同的任務和情況，通過混合多個訓練任務和提示方法以促進數據多樣性，從而展現出更強的泛化能力和穩健性，並在推理過程中減少對大量提示樣本的需求。
發展歷程
FireAct方法於2023年以研究論文《FireAct:Toward Language Agent Fine-tuning》的形式首次提出。
提出該方法的團隊後續研究從agent fine-tuning出發，逐步演進到LoRA SFT，並於2025年8月首次實現了超大規模參數的LoRA強化學習體系。
基本特徵
FireAct是一種基於語言智慧型體軌跡進行微調的方法。FireAct運用強大語言模型的少樣本提示來生成多樣化的ReAct軌跡，用以微調較小規模的語言模型。FireAct能夠混合多個訓練任務和提示方法，提升了訓練數據的多樣性。在推理過程中，基於FireAct框架的智慧型體減少了對提示詞樣本數量的需求。FireAct能夠根據任務的複雜度隱式地選擇合適的推理方法。與傳統的提示詞微調方法相比，FireAct具備較好的泛化能力和穩健性。例如，通過對Llama-2-13B進行微調，其在HotpotQA任務上的表現優於基於ReAct模式的提示式ChatGPT。
套用
在實驗驗證階段，FireAct被套用於多個問答數據集，包括HotpotQA、Bamboogle、StrategyQA和MMLU。研究中使用了通過SerpAPI構建的谷歌搜尋工具作為智慧型體的外部工具。實驗涉及的語言模型系列包括OpenAI GPT、Llama-2以及CodeLlama。微調方法在大多數實驗中採用了低秩自適應（LoRA），部分比較中使用了全模型微調。實驗設計了三種場景：在單一任務中使用單一提示方法進行微調；在單一任務中使用多種方法進行微調；在多個任務中使用多種方法進行微調。實驗結果表明，經過FireAct微調的模型在HotpotQA等任務上性能持續顯著改善，且展現出更強的穩健性和泛化能力。例如在HotpotQA上微調後的Llama-2-13B模型表現優於基於ReAct提示的ChatGPT。
該研究路徑後續得到發展，其思想從智慧型體微調演進至LoRA SFT，並於2025年8月首次實現了超大規模參數的LoRA強化學習體系。
影響
實驗結果顯示，FireAct微調能持續、顯著地改善智慧型體性能，且成本更低、速度更快，並提高了模型的穩健性和泛化能力。例如，通過對Llama-2-13B模型進行FireAct微調，在HotpotQA任務上的表現勝過了基於ReAct模式的提示式ChatGPT。使用多種提示方法（如ReAct、CoT、Reflexion）進行混合微調，提高了智慧型體應對不同任務的靈活性。進行多任務混合微調時，模型在各任務上的性能能夠保持或提高，顯示了良好的任務適應性和兼容性。
