SWE-bench Multimodal是一個用於評估AI系統在視覺軟體工程任務上表現的多模態基準測試數據集。其任務實例來源於開源JavaScript代碼庫，每個實例均包含對解決問題至關重要的圖像等視覺素材。
該基準測試於2024年10月被引入。2025年1月，其數據集與評估工具被集成至GitHub倉庫。研究模型GUIRepair在該基準測試的榜單上取得了領先的測試成績。
基本介紹
- 外文名：SWE-bench Multimodal
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
SWE-bench Multimodal是SWE-bench（Software Engineering Benchmark）基準測試集合的一部分，由普林斯頓大學NLP團隊開發。其旨在評估大型語言模型或AI智慧型體在真實軟體工程任務上的能力，特別是針對現代軟體開發中多模態的特性，挑戰AI系統應對涉及代碼和視覺元素（如UI截圖、設計稿）問題的能力。
該數據集包含100個開發實例和500個測試實例，涵蓋了來自17個流行JavaScript倉庫的619個真實多模態軟體問題，包括UI故障、地圖渲染問題以及數據可視化錯誤等。
發展歷程
SWE-bench Multimodal於2024年10月首次被引入。其相關論文《SWE-bench Multimodal: Do AI Systems Generalize to Visual Software Domains?》被ICLR 2025接收。2025年1月13日，該數據集和論文被集成到SWE-bench主倉庫中。在2025年5月7日發布的SWE-bench項目Release 4.0.1版本中，已包含對SWE-bench Multimodal數據集的詳細說明和使用指引。
核心技術
SWE-bench Multimodal是一個用於評估AI系統在視覺軟體工程任務上表現的數據集，其核心任務是給定一個代碼庫和一個問題，要求語言模型生成一個解決所述問題的補丁。該基準在問題描述中加入了視覺上下文，如截圖、設計稿等圖像信息，要求模型結合圖片和代碼信息來完成任務。
基於該基準，慕尼黑工業大學的研究團隊提出了GUIRepair方法，其核心思想是“Seeing is Fixing”，利用多模態大語言模型進行跨模態推理以實現視覺軟體問題的修復。
在SWE-bench Multimodal上，GUIRepair在使用GPT-4o作為基座模型時解決了30.37%的任務實例；當使用o3模型時，修復率達到了35.98%，並曾登頂該基準排行榜首位。這項研究成果的論文已被軟體工程會議ASE 2025接收。
運營模式
SWE-bench Multimodal的數據集可通過Hugging Face平台獲取，例如使用載入開發集，或使用載入測試集。
對於測試集的評估，官方保持其私有性，研究者需使用其雲端評估工具提交結果至官方排行榜以獲取分數和排名。
SWE-bench Multimodal僅用於研究目的，通常要求在使用時註明出處並遵循相關協定。
核心團隊
SWE-bench Multimodal的核心團隊包括主要作者John Yang、Carlos E. Jimenez、Alex L. Zhang、Kilian Lieret、Joyce Yang、Xindi Wu、Ori Press、Niklas Muennighoff、Gabriel Synnaeve、Karthik R. Narasimhan、Diyi Yang、Sida I. Wang、Ofir Press等。
該團隊來自普林斯頓大學NLP團隊，並與OpenAI Preparedness團隊有合作。
重要事件
SWE-bench Multimodal基準的多模態問題修復引起了研究人員的廣泛關注。
GUIRepair方法登上SWE-bench Multimodal排行榜第一。
Anthropic發布的Claude Opus 4.7模型在SWE-bench Multimodal的內部測試中取得34.5%的成績，較其前代Opus 4.6的27.1%提升了7.4個百分點。
Anthropic發布的Mythos模型在SWE-bench Multimodal的內部評估中取得了59.0%的成績。
