Multi-SWE-bench

Multi-SWE-bench是位元組跳動豆包大模型團隊於2025年4月10日開源的首個多語言類SWE數據集。

該數據集覆蓋Java、TypeScript、JavaScript、Go、Rust、C、C 及Python，包含1632個來自GitHub issue的實例，歷經五階段構建流程並經人工驗證。基準測試顯示，大模型在Python問題上的解決率達50%。團隊同步開源Multi-SWE-RL社區，提供4723個容器化訓練樣本及相關工具鏈，推動大模型自動化軟體工程能力評估體系的完善。2025年12月，北京大學高可信軟體技術教育部重點實驗室劉偉領導的研究團隊發表論文，展示了新的軟體問題定位方法，該研究使用了Multi-SWE-bench Java數據集進行測試，位元組跳動的彭超和高鵬飛等研究人員也參與了這項研究。

基本介紹

• 外文名：Multi-SWE-bench
• 時間：2025年4月

發展歷史

2025年4月10日，位元組跳動豆包大模型團隊正式開源首個多語言類SWE數據集。

模型簡介

Multi-SWE-bench 首次覆蓋 Python 之外的 7 種主流程式語言，是真正面向“全棧工程”的評測基準。其數據均來自 GitHub issue，歷時近一年構建，以儘可能準確測評和提高大模型高階編程智慧型水平。