IFBench（Instruction Following Benchmark）是一個用於評估大語言模型指令遵循能力的基準測試工具。該基準由Allen Institute for AI（Allen AI）開發，於2025年7月通過論文《Generalizing Verifiable Instruction Following》正式發布。
IFBench旨在評估模型對新穎、複雜指令約束的泛化表現，其核心測試集包含58個可驗證的單輪任務。
研發背景,發展歷程,核心技術,重要事件,核心團隊,運營模式,
研發背景
IFBench 由 Allen Institute for AI (Allen AI) 開發，於 2025 年 7 月 3 日通過 arXiv 論文《Generalizing Verifiable Instruction Following》正式發布。該基準的開發源於對現有指令跟隨評測的不足觀察，旨在解決模型在面對新型、挑戰性指令時的可靠性問題。具體包括模型對未見約束的泛化不足、缺乏可自動驗證的評估標準以及現有基準任務的分布偏差導致高分模型在實際套用中表現不穩。
發展歷程
IFBench 由 Allen Institute for AI（Allen AI）開發，於 2025 年 7 月 3 日通過 arXiv 預印本平台發布的論文《Generalizing Verifiable Instruction Following》正式提出並發布。論文作者包括來自 Allen AI 的研究人員，如 Nat O. Lambert、Valentina Pyatkin 等。該基準的提出旨在解決現有指令跟隨評測的不足，特別是模型在面對新型、挑戰性指令時泛化能力不足、缺乏可自動驗證評估標準等問題。IFBench 通過引入 58 個多樣化的、可驗證的單輪任務，提供了一個更嚴謹的框架來量化模型對未見指令的精確執行水平。
自發布後，IFBench 迅速成為評測大語言模型指令遵循泛化能力的重要基準之一，被多個研究機構和模型評測報告所採用。
核心技術
IFBench的核心設計圍繞可驗證的指令跟隨任務展開，旨在評估模型對新穎、複雜約束的泛化能力。其評測流程分為任務生成、模型測試和自動評估三個階段。
任務生成採用人工-自動化結合方法，研究者定義約束類別後使用LLM生成初始指令，再經專家審核以確保任務的出分布性和可驗證性。基準包含58個獨立任務，覆蓋格式要求、邏輯條件和領域特定規則等多樣化約束。在執行流程中，模型接收包含多重約束的指令並產生單次回響，隨後採用可驗證指標進行自動評分。評估方法包括精確匹配、約束滿足率和零樣本泛化測試。評估工具基於Python腳本實現以支持批量運行，整個流程強調可復現性，其數據集和代碼已在GitHub上開源。
重要事件
2025年7月3日，IFBench基準測試集隨論文《Generalizing Verifiable Instruction Following》在arXiv上發布，由Allen Institute for AI (Allen AI)的研究團隊開發。
2025年8月28日，元石科技發布的問小白5模型在IFBench測試中取得58.1分的成績。
2025年11月，採用Rubric-RM訓練的模型在更具挑戰性的IFBench測試中取得33.7分，高於之前的最佳成績。
2025年12月16日，KAT-Coder-Pro V1模型在IFBench指標上達到68%。
核心團隊
IFBench由Allen Institute for AI (Allen AI)開發。其相關研究論文《Generalizing Verifiable Instruction Following》的主要作者包括Valentina Pyatkin、Saumya Malik、Victoria Graf、Hamish Ivison、Shengyi Huang、Pradeep Dasigi、Nathan Lambert和Hannaneh Hajishirzi等研究人員。
運營模式
IFBench是一個開源評測基準，其數據集、代碼和評估工具均在GitHub上公開提供，供研究者和開發者使用。
該基準已被第三方評測平台採納，用於構建大語言模型指令遵循能力的排行榜，定期公布和對比不同模型在IFBench上的測試得分。
