SWE-bench Lite

SWE-bench Lite是一個用於評估人工智慧模型在軟體工程任務中修復問題能力的基準測試數據集。該數據集由普林斯頓大學的研究團隊提出，是一個精簡子集，從原始SWE-bench數據中採樣了300個實例，主要聚焦於功能錯誤修復類任務。這些實例全部來自真實的GitHub項目問題，且僅覆蓋Python語言，其設計目的是降低研究門檻，將評估的計算開銷控制在可接受範圍內。

SWE-bench Lite於2024年3月正式發布。隨後，其後續版本SWE-bench Verified被推出，並取代了原始SWE-bench和SWE-bench Lite測試集。該數據集已成為評估AI模型和智慧型體解決軟體工程問題水平的重要標桿，吸引了20多家企業與研究組織參與評測。在該數據集上表現最佳的模型解決率已達到44%。

基本介紹

• 創建者：普林斯頓大學研究團隊
• 發布時間：2024年3月
• 實例數：300個
• 來源：真實GitHub項目
• 類型：基準測試數據集
• 語言：Python

研發背景

SWE-bench Lite是SWE-bench的精簡子集，由普林斯頓大學的研究團隊提出，於2024年3月發布。原始SWE-bench包含2294個真實GitHub問題實例，但評估成本（時間與Token投入）過高，不利於快速疊代驗證。因此，研究者從原數據集中抽取了300個Issue描述完整、求解邏輯清晰、相對易於解決的實例，組成SWE-bench Lite數據集，旨在降低研究門檻，為初期系統疊代提供可行性入口。

核心特點

SWE-bench Lite是一個包含300個精選實例的數據集，這些實例來源於11個大型、流行的GitHubPython項目。其所有任務均為真實的GitHub Issue，要求模型生成修復補丁，並通過單元測試進行驗證。

該數據集是SWE-bench的精簡子集，旨在降低評估成本。其任務具有挑戰性，能還原真實軟體開發場景。

SWE-bench Lite數據集中存在少量信息不足或包含誤導性解決方案的實例，並因此衍生出更嚴格的子集SWE-bench Lite-S。其理論最高解決率可能在80%左右。

版本演進

為降低評估成本，普林斯頓大學團隊於2024年3月發布了包含300個實例的精簡子集SWE-bench Lite。

2024年8月，官方推出了SWE-bench Verified數據集，旨在過濾掉原始數據集中不可執行的樣本，此版本旨在取代原始的SWE-bench和SWE-bench Lite測試集。

為提升基準測試的嚴謹性，研究社區提出了包含252個問題的嚴格問題子集SWE-bench Lite-S，該子集從SWE-bench Lite中排除了那些在問題描述中包含確切補丁、誤導性解決方案或未提供足夠信息的問題。

2025年，研究團隊還提供了一個名為SWE-bench-Live-Lite的動態更新子集，通過定期抽樣形成緊湊的300實例集合，用於實時評估模型在新問題上的表現。

評估方法

SWE-bench Lite 提供了官方的評估工具包（swebench package）用於模型評測，其基本評估命令為“python -m swebench.harness.run_evaluation --dataset_name princeton-nlp/SWE-bench_Lite”。該數據集包含300個精選實例，旨在降低評估開銷。

評估過程對計算資源有一定要求，建議在具備至少120GB可用存儲、16GB記憶體和8個CPU核心的x86_64架構機器上運行。其核心評估指標是“解決率”（% Resolved），即模型成功解決問題的實例數占總實例數（300個）的百分比。

套用案例與榜單表現

SWE-bench Lite數據集已成為衡量AI智慧型體解決軟體工程問題水平的評測標桿，吸引了20多家企業與研究組織的參與。自2024年初以來，在該榜單上取得State-of-the-Art成績的模型的解決率已從不足10%提升至超過30%。

早期工具如普林斯頓大學的SWE-agent在SWE-bench測試集上取得了12.29%的解決率。2025年的評測中，採用各類框架的模型在SWE-bench-Live-Lite子集上的解決率集中在12%至17%左右。

豆包MarsCode Agent在SWE-bench Lite上取得了39.33%的解決率。UCL團隊的Prometheus模型在2025年10月以35.33%的Pass@1成績達到開源模型的SOTA水平。螞蟻集團的CGM模型在2025年多次評測中以44%的解決率連續登頂SWE-bench Lite開源模型榜單。

SWE-bench Lite中部分問題存在信息不足或包含暗示性答案的情況，影響了理論最高得分和評測的嚴謹性。另有研究者從SWE-bench Lite中過濾出更嚴格的子集SWE-bench Lite-S，以更準確反映工具能力。

影響與評價

SWE-bench Lite自推出以來，受到工業界、學術界和創業團隊的廣泛關注，已成為評估AI編程智慧型體解決軟體工程問題水平的重要評測標桿。由於其任務全部來自真實的GitHub項目，能最大程度還原程式設計師在真實開發中的工作狀態，因此能有效評估模型像經驗豐富軟體工程師一樣解決複雜問題的能力。它推動了AI在軟體工程領域的研究和競爭，吸引了包括螞蟻集團、豆包MarsCode、普林斯頓大學等在內的多家知名機構參與評測。

然而，社區也對SWE-bench Lite存在一些討論和擔憂。例如，有觀點認為其可能被“針對榜單最佳化”，且數據集中部分問題可能存在信息不足或測試過於嚴格的情況。為此，研究者提出了一個經過過濾的嚴格問題子集SWE-bench Lite-S，以更準確地反映工具的真實能力。另有分析指出，其理論最高解決率可能約為80%至90.7%。