SWE-bench Multilingual是一個多語言軟體工程基準測試，用於評估語言模型在軟體工程任務上的表現。
該基準測試被套用於評估大語言模型的編程能力，其數據擴展基於SWE-smith研究，評估任務涵蓋Debug能力，並支持在配備bash/editor工具的環境下進行代理式評估。
其理論基礎源自2025年發表的研究論文《SWE-smith: Scaling Data for Software Engineering Agents》，核心貢獻者包括John Yang等人。2025年10月，Kimi K2模型在該測試中達到了47.3%的pass@1成績。同年12月，GLM-4.7和MiniMax M2.1模型分別取得了73.8%和72.5%的分數。2026年3月，Cursor的Composer 2模型在該測試上取得了73.7%的成績，而Claude Opus 4.6模型在該測試中的得分為77.83%。2026年4月，阿里發布的Qwen3.6-Plus模型在SWE-bench系列評測中編程表現接近Claude系列。
研發背景,發展歷程,核心技術,核心團隊,重要事件,
研發背景
SWE-bench Multilingual 是一個多語言版基準測試，用於衡量模型 Debug 能力。其理論基礎源自2025年發表的研究論文《SWE-smith: Scaling Data for Software Engineering Agents》（作者：John Yang 等）。
發展歷程
SWE-bench Multilingual的發展歷程始於2025年相關研究論文的發表。隨後在2025年至2026年初，該基準測試被多家主流AI公司採納用於評估其編程大模型性能。截至2026年3月，該基準測試仍在被持續使用以評估最新模型的軟體工程能力。
核心技術
SWE-bench Multilingual是一個多語言軟體工程基準測試，用於評估語言模型在軟體工程任務上的表現。該基準測試的數據擴展基於SWE-smith研究，評估任務涵蓋Debug能力，並支持在配備bash/editor工具的環境下進行代理式評估。
核心團隊
SWE-bench Multilingual的核心貢獻者信息來源於其相關學術論文的作者列表。該論文的作者包括John Yang、Kilian Lieret、Carlos E. Jimenez、Alexander Wettig、Kabir Khandpur、Yanzhe Zhang、Binyuan Hui、Ofir Press、Ludwig Schmidt和Diyi Yang。
重要事件
2025年10月，月之暗面（Moonshot AI）發布的Kimi K2模型在SWE-bench Multilingual測試中取得47.3%的pass@1成績（單次嘗試，無測試時計算）。
2025年12月22日，MiniMax發布的全棧編程大模型MiniMax M2.1在SWE-bench Multilingual榜單中取得72.5分。
2025年12月23日，智譜AI發布的GLM-4.7編程大模型報告其在SWE-Bench分數達到73.8%。
2026年3月，Cursor公司發布的Composer 2模型在SWE-bench Multilingual測試中取得73.7%的成績，而Claude Opus 4.6模型在該測試中的得分為77.83%。
