SWE-Bench Pro是由Scale AI開發並於2025年9月21日正式發布的AI編程能力評測基準，專注於評估大語言模型或智慧型體在長時程、企業級軟體工程任務上的表現。該基準包含1865個源自41個活躍代碼倉庫的問題，其數據集分為公開集、商業集和保留集三個子集。任務要求生成能通過測試的代碼補丁，其參考解決方案平均涉及4.1個檔案、107.4行代碼，基準在任務設計上排除了僅需1-10行代碼修改的簡單任務，顯著提升了測試難度與工業真實性。
基準發布時，頂級模型如GPT-5在公開集上的通過率僅為23.3%，揭示了AI在處理複雜實際任務中的局限。後續榜單更新顯示，模型表現有所提升，例如至2025年10月，Claude Sonnet 4.5在該基準上的得分超過40%；到2026年，GPT-5.2的解決率首次超過55%，GPT-5.4的得分達到57.7%。MiniMax發布的新一代大模型M2.7在SWE-Bench Pro中取得56.22%的成績。
研發背景,核心技術,運營模式,核心團隊,重要事件,
研發背景
SWE-Bench Pro由Scale AI於2025年9月21日正式發布，其研究成果通過ArXiv論文和Hugging Face數據集的形式公開。該基準旨在評估AI代理在長時程、企業級軟體工程任務上的能力，以解決現有AI編程基準的局限性。研發SWE-Bench Pro的主要動機是彌補前代基準在任務真實性、複雜度和抗數據污染能力上的不足。在舊基準上表現優異的頂級模型解決率曾超過70%，但在SWE-Bench Pro上，頂尖模型的通過率驟降至約23%，這一落差表明前代基準可能無法真實衡量AI在複雜軟體開發中的實際能力。2026年3月，OpenAI Frontier Evals團隊亦指出，SWE-bench Verified基準“實際上已經飽和且高度被污染”，並建議行業轉向更難的SWE-bench Pro。
SWE-Bench Pro的設計目標包括提升任務複雜性與真實性、增強抗數據污染能力以及確保任務的可解性。為提升複雜性與真實性，基準排除了僅需1-10行代碼修改的簡單任務，只保留需要多檔案、實質性修改的問題，參考解決方案平均涉及修改4.1個檔案和107.4行代碼，所有任務至少修改10行代碼，超過100項任務需要修改超過100行代碼，任務來源於41個活躍維護的真實代碼倉庫，覆蓋消費級App、B2B服務和開發者工具等多個領域。為增強抗數據污染能力，基準通過創新的數據收集策略降低模型在訓練數據中“見過”測試題的風險，例如公開集僅採用強著佐權許可證的開原始碼庫構建，商業集則來自真實初創企業的專有代碼庫。為確保任務的可解性，基準引入了一個分為三個階段的人機協同驗證流程，對任務描述進行澄清和增強，補充缺失的上下文，同時約束解決方案空間，確保每個問題都是人類工程師可解決且AI代理理論上能夠處理的。
核心技術
SWE-Bench Pro在技術設計上相較於前代基準有三大核心貢獻，旨在構建一個更真實、抗污染且具挑戰性的企業級評估環境。
SWE-Bench Pro採用了巧妙的數據收集策略以降低數據污染風險，其數據集包含1865個問題，分為公開集、商業集和保留集三個子集。公開集在HuggingFace公開發布731個實例，源自11個採用強著佐權許可證的代碼庫。商業集包含來自18個真實初創企業專有代碼庫的276個問題。保留集保留了858個與公開集結構鏡像但採用不同代碼庫的問題，用於未來過擬合檢查。採用強著佐權許可證構建公開集和保留集是為了避免訓練數據污染，因為這些許可證要求衍生作品開源，減少了被模型預訓練數據廣泛包含的風險。商業集的引入則用於捕捉更貼近工業實踐的企業級問題。
SWE-Bench Pro進行了任務升級，使其更具挑戰性、多樣性且貼近工業實踐。為確保任務複雜度，基準排除了僅需1-10行代碼修改的簡單任務，只保留需要多檔案、實質性修改的問題。參考解決方案平均涉及修改4.1個檔案、107.4行代碼，所有任務至少修改10行代碼，超過100項任務需要修改超過100行代碼。所選代碼庫均為活躍維護的項目，覆蓋消費級套用、B2B服務和開發者工具平台等多個領域，且每個代碼庫貢獻實例數量限制在50-100個，避免對單一庫的過度依賴。
SWE-Bench Pro引入了人機協同驗證流程以確保任務可解。該流程分為三個階段的人工介入。其目的一方面是澄清原始問題描述中的模糊信息，補充缺失的上下文；另一方面是通過約束解決方案的空間，在保持任務靈活性的同時，避免因描述不清導致的“假陰性”評估結果。這三大技術設計共同確保了SWE-Bench Pro基準在任務真實性、複雜性和評估可靠性上的顯著提升。
運營模式
SWE-Bench Pro基準包含1865個問題，來源於41個活躍維護的代碼倉庫，旨在評估AI代理在長時程企業級軟體開發任務上的能力。數據集分為公開集、商業集和保留集三個子集。公開集包含731個問題，源自採用強著佐權許可證的11個開原始碼庫，已在HuggingFace公開發布用於公開評測。商業集包含276個問題，來自18個真實初創企業的專有代碼庫，因法律限制無法公開，用於評估模型在企業級私有代碼上的表現。保留集包含858個問題，採用與公開集結構鏡像但不同的12個代碼庫構建，用於未來防過擬合測試和基準疊代。
在任務設計上，該基準排除了1-10行代碼的簡單修改任務，僅保留需要多檔案、實質性修改的問題，參考解決方案平均涉及修改4.1個檔案、107.4行代碼，所有任務至少修改10行代碼，超過100項任務需要修改超過100行代碼。所選代碼庫均為活躍維護的項目，覆蓋消費級套用、B2B服務和開發者工具平台等多個領域，每個代碼庫貢獻50至100個實例以避免對單一庫的過擬合。通過僅使用強著佐權許可證的代碼庫構建公開集和保留集，以及引入專有的商業集，降低了模型因預訓練數據污染而獲得不公平優勢的風險。數據收集採用三階段人機協同驗證流程，以澄清模糊信息、補充上下文並確保所有任務都是可解的。
評估體系使用容器化的Docker鏡像環境，包含Python虛擬環境、Node.js和Go模組等依賴。評估基於SWE-Agent框架，支持多檔案編輯，模型接收任務描述、需求規格和可選接口信息，通過工具調用生成補丁。評估設定使用截至評估日期的最新模型版本，在8個H100 GPU上通過vLLM託管開源模型，設定最大200輪互動。核心評估指標採用Pass@1，即首次生成的補丁即通過所有測試的比例。對於未解決的實例，會使用GPT-5作為評判器對失敗軌跡進行錯誤模式分類。該基準覆蓋Python、JavaScript、TypeScript和Go四種程式語言。
核心團隊
SWE-Bench Pro 的核心研究人員包括 Xiang Deng 和 Jeff Da。Xiang Deng 現任 Scale AI 研究工程師，專注於大型語言模型（LLM）的編程與智慧型體研發。Xiang Deng 獲得了俄亥俄州立大學的博士學位，以及中國科學技術大學計算機科學學士學位。Jeff Da 現任 Scale AI 研究科學家，專注於強化學習、智慧型體與訓練後最佳化方向。Jeff Da 曾在艾倫人工智慧研究所和華盛頓大學從事研究工作，主要方向包括推理能力評估和多模態學習。
重要事件
2025年9月21日（或22日），Scale AI正式發布SWE-Bench Pro評測基準，旨在評估AI代理在長周期、企業級軟體工程任務上的能力。該基準通過ArXiv論文和Hugging Face數據集公開，包含1865個問題，來源於41個活躍維護的代碼倉庫，分為公開集（731個問題）、商業集（276個問題）和保留集（858個問題）。其設計特點包括採用強著佐權許可證（GPL）代碼庫以降低數據污染風險，任務複雜度高，參考解決方案平均涉及4.1個檔案、107.4行代碼，以及採用人機協同的三階段驗證流程確保任務可解。
基準發布初期的測試結果顯示，頂尖模型的解決率遠低於在前代基準上的表現。在公開集上，GPT-5的Pass@1解決率為23.3%，Claude Opus 4.1為22.7%；在更具挑戰的商業集上，兩者的解決率分別降至14.9%和17.8%。其他模型如Claude Sonnet 4、Gemini 2.5 Pro Preview、GPT-4o等表現更差。模型在不同程式語言和數據集上表現差異顯著，在Python和Go任務上表現相對較好，而在JavaScript/TypeScript任務上波動較大，商業集的難度顯著高於公開集。對失敗軌跡的分析揭示了不同模型的典型錯誤模式，Claude Opus 4.1的主要錯誤為錯誤解決方案（35.9%）和語法錯誤（24.2%），GPT-5工具使用率高（97.6%）但錯誤解決方案占51.7%，Claude Sonnet 4則存在上下文溢出（35.6%）和無限檔案讀取行為（17.0%）等問題。
