SlopCodeBench

SlopCodeBench是一個由威斯康星麥迪遜大學和麻省理工學院（MIT）研究團隊開發的AI編程評測基準，專門用於評估AI生成的“垃圾代碼”（Slop）在疊代開發過程中的退化程度。

該基準模擬真實開發場景，包含20個常見任務，並拆分為93個逐步複雜的檢查點。其測試規則嚴格，包括不預設內部接口、不暴露測試用例、必須在上一輪代碼基礎上修改。評估主要關注結構侵蝕和冗餘度兩個指標。測試顯示，當前包括Claude Opus、GPT系列在內的11個主流模型均無法完成所有檢查點，且代碼質量隨疊代顯著下降，其冗餘度可達人類代碼的2.2倍，結構侵蝕程度也明顯更嚴重。

基本介紹

• 外文名：SlopCodeBench

基準簡介

SlopCodeBench是由威斯康星麥迪遜大學和MIT的研究團隊開發的AI編程評測基準。其名稱意為專門評測AI生成的“垃圾代碼”（Slop）退化的基準。它模擬真實、疊代式軟體開發的“痛苦模式”，旨在檢驗AI編程Agent在長任務中的能力。

測試設計

該基準包含20個常見開發場景（如表達式解析器、代碼搜尋工具），每個場景拆分為93個逐步變複雜的檢查點。測試規則嚴格復刻真實開發流程：不預設任何內部接口、不暴露測試用例、必須在上一輪代碼基礎上疊代修改。

評測指標

SlopCodeBench採用結構侵蝕和冗餘度作為核心評測指標。結構侵蝕衡量代碼結構在疊代過程中惡化的程度。冗餘度衡量代碼中不必要或重複內容的比例。這些指標用於評估AI生成代碼的質量退化情況。

測試結果

根據威斯康星麥迪遜大學與MIT研究團隊於2026年發布的評測結果，SlopCodeBench對包括Claude Opus 4.5/4.6、GPT 5.1-5.4、GLM 4.7在內的11個主流AI編程模型進行了測試。結果顯示，沒有一個模型能夠完整通過任一項目的全部檢查點。

關鍵量化數據如下，AI生成的代碼在多個質量維度上顯著劣於人類代碼。冗餘度方面，AI代碼的平均冗餘度是人類代碼的2.2倍。結構侵蝕程度方面，AI代碼同樣是人類的2.2倍。代碼規範違反率方面，AI代碼的違反率高達人類代碼的2.9倍。

研究還進行了提示詞幹預實驗，發現使用“反slop提示”或“先規劃提示”可在初始階段將代碼冗餘度降低33%-34%。但無法改變後續疊代中代碼質量持續退化的趨勢，且對任務通過率無顯著提升。同時，使用最佳化提示詞會導致生成成本顯著增加，例如GPT 5.4模型完成項目的花費從304美元增至450美元，但通過率反而下降。

深層問題

SlopCodeBench的研究揭示了當前AI編程Agent在應對疊代式長任務時存在的系統性深層問題，具體表現為隨著任務疊代次數的增加，AI生成的代碼質量呈現出持續惡化的趨勢。在80%的測試軌跡中，代碼的結構侵蝕持續上升；同時，在近90%的軌跡中，代碼的冗餘度也隨疊代次數增加而不斷走高。與人類開發者的代碼演變軌跡形成鮮明對比，在追蹤代碼倉庫隨時間的演變時，人類代碼的質量能夠保持穩定，而AI代碼則隨著每次疊代持續惡化。

研究者指出，這一問題的根本原因在於當前的AI編程Agent普遍缺乏疊代式軟體開發所必需的“設計紀律”。即使使用精心設計的提示詞進行干預，雖然能在初始階段改善代碼整潔度，但無法改變其長期退化的趨勢。

研究意義

SlopCodeBench基準的研究揭示了AI編程Agent在疊代式開發任務中的更深層問題。該基準為AI編程能力的評估提供了一個更貼近真實、更嚴格的基準。此外，它對過熱的市場預期起到了警示作用。