PaperBench是OpenAI推出評估AI智慧型體復現前沿AI研究能力的基準。當地時間2025年4月2日，OpenAI正式宣布推出該基準。它要求智慧型體從零開始復現20篇ICML 2024的Spotlight和Oral論文，任務包括理解論文貢獻、開發代碼庫並成功執行實驗。為進行客觀評估，OpenAI與每篇論文的作者合作，將每個復現任務層級分解為具有明確評分標準的子任務，總計包含8,316個可單獨評分的任務，並開發了基於大語言模型（LLM）的自動評分系統。在初步測試中，表現最佳的智慧型體Claude 3.5 Sonnet（新版）結合開源框架，平均復現得分為21.0%，但超越人類頂尖機器學習博士的基線水平。該基準還包含一個更輕量級的變體PaperBench Code-Dev。後續測試顯示，香港大學團隊開發的DeepCode在PaperBench上的表現超過了參與評測的人類專家組。OpenAI已將其代碼開源，以促進相關研究。
基本介紹
- 外文名：PaperBench
- 所屬公司：OpenAI
核心技術,發展歷史,測試與評估,影響與意義,
核心技術
為實現客觀、自動化評估，PaperBench採用了一套層級化的評分標準體系，並將每篇論文的復現任務分解為具有明確評分標準的子任務，總計包含8,316個可單獨評分的葉節點。為實現大規模評估，開發了基於大語言模型（LLM）的自動評判系統(SimpleJudge)，並構建了輔助評估基準(JudgeEval)來驗證自動評判系統與人類專家評判的一致性。
評分標準採用樹狀層級結構進行組織，根節點為“論文的核心貢獻已被復現”，並逐級向下分解。所有評分標準節點都根據其相對於同級節點的重要性被手動賦予了權重。葉節點的評分標準包含三類評估要求：“代碼開發”(Code Development)評估實現正確性、“執行”(Execution)評估腳本運行結果、“結果匹配”(Result Match)評估與論文結果的一致性。
構建了輔助評估基準(JudgeEval)，這是一個包含人類評分提交結果的數據集，用於評估和驗證自動評判系統與人類專家評判的一致性。最佳評判器（使用o3-mini-high和定製腳手架）在輔助評估中F1分數達到0.83。
評分過程採用加權平均計算，葉節點為通過/失敗（1分或0分）的二元評分，父節點的分數為其所有子節點分數的加權平均值，這一計分過程會一直向上傳遞到樹的根節點，根節點的分數即被視為該提交的最終復現得分(Replication Score)。
發展歷史
當地時間2025年4月2日，OpenAI宣布推出 PaperBench——一個評估 AI 智慧型體復現前沿 AI 研究能力的基準。智慧型體需從零開始復現 20 篇 ICML 2024 Spotlight 和 Oral 論文，包括理解論文貢獻、開發代碼庫並成功執行實驗。同時，OpenAI將PaperBench的代碼在GitHub上開源，以促進相關研究。
2025年11月，香港大學黃超團隊開源的DeepCode在PaperBench測試中取得了超過人類專家組和主流商用代碼智慧型體的成績，其總體準確率達到75.9%，超過了參與評測的人類專家組的72.4%，而Claude Code的準確率為58.7%。
測試與評估
PaperBench的評估體系旨在系統化地衡量AI智慧型體復現前沿AI研究的能力，其包含8,316個可單獨評分的任務，評分標準與每篇ICML論文的作者共同制定，並採用基於大語言模型（LLM）的自動評判系統進行打分。測試環境通常為配備A10 GPU的Ubuntu Docker容器，智慧型體可訪問網際網路並獲提供必要的API密鑰（如HuggingFace和OpenAI的API key）。評估流程主要包括三個階段：智慧型體在容器中創建並提交復現論文的代碼庫；在具有GPU訪問許可權的新容器中執行代碼；基於大語言模型（LLM）的自動評判系統（如SimpleJudge）在第三個容器中根據評分標準對復現結果進行打分。
在PaperBench上對多個前沿模型進行了評估，包括GPT-4o、o1、o3-mini、DeepSeek-R1、Claude 3.5 Sonnet(New)和Gemini 2.0 Flash等。在標準PaperBench測試中，表現最佳的智慧型體Claude 3.5 Sonnet(New)結合開源框架，平均復現得分為21.0%；OpenAIo1得分為13.2%；其他模型得分低於10%。為建立對比基線，OpenAI招募了頂尖的機器學習博士生嘗試部分測試集，在48小時內（3次嘗試取最佳）取得了41.4%的得分，表明當前AI模型的整體表現低於人類基線。在要求放寬的輕量級變體PaperBench Code-Dev版本中，o1模型的得分提升至43.4%。
測試過程中還觀察到一些智慧型體行為特徵：除Claude 3.5 Sonnet外，其他模型常提前結束任務；所有智慧型體均未制定出在有限時間內復現論文的最優策略；o3-mini存在工具調用困難。此外，對o1進行36小時延長運行的實驗發現，其在復現嘗試的初期階段表現優於人類，但在24小時後，人類的表現開始反超AI智慧型體。
影響與意義
PaperBench的推出在AI評估領域、技術發展以及業界認知等方面產生了影響。
該基準通過層級化評分標準將每個復現任務分解為具有明確評分標準的較小子任務，共包含8,316個可單獨評分的任務，首次系統性地為衡量AI的工程與科研潛力提供了客觀、可量化的基準。
初期測試表明，表現最佳的智慧型體Claude 3.5 Sonnet平均復現得分為21.0%，而人類機器學習博士在子集上達到41.4%的得分。後續進展顯示，香港大學團隊開發的DeepCode在測試中以75.9%的準確率超越了人類專家組的72.4%。
為解決人工評估成本高昂的問題，PaperBench配套開發了基於大語言模型的自動評分系統SimpleJudge及評估該系統的輔助基準JudgeEval，顯著降低了人工評估成本，為大規模、複雜任務的自動化評估提供了解決方案。
PaperBench的發布吸引了業界關注，其開原始碼也吸引了大量開發者關注，推動了相關工具鏈和後續研究的發展。
