TerminalBench 2.0

TerminalBench 2.0是一個人工策劃的、用於評估AI編碼模型性能的基準測試工具。它被列為多個廣泛使用的編程智慧型體基準之一。該基準包含了各種難度的終端任務,範圍從簡單的檔案操作到複雜的系統管理挑戰。

在相關評估中,不同模型在此基準上的表現被用於衡量其編碼能力。例如,有模型在TerminalBench 2.0上的成績達到76%,而另一模型則取得了41%的成績。經過特定訓練後,Qwen3-8B模型在該基準上的成功率從1.1%提升到了6.7%。

基本介紹

  • 外文名:TerminalBench 2.0
  • 產品類型:基準測試工具
核心技術,重要事件,

核心技術

TerminalBench 2.0是一個人工策劃的基準測試。該基準由史丹福大學與Laude Institute聯合打造,用於評估AI智慧型體在真實命令行環境下的端到端執行能力。測試在隔離的Docker容器中進行,包含多個橫跨軟體工程與科學計算的任務,採用嚴格的驗證標準。2.0版本進一步提高了測試難度。該基準包含了各種難度的終端任務,從簡單的檔案操作到複雜的系統管理挑戰。模型在這些從未見過的任務上表現出了實質性的提升。

重要事件

2025年12月24日,GLM-4.7模型發布,在TerminalBench 2.0基準測試中達到41%的成功率,較其前代GLM-4.6提升16.5%。
2026年1月27日,史丹福大學與微軟研究院聯合發布研究,展示了經過“Endless Terminals”訓練的模型在TerminalBench 2.0上的性能提升,其中Qwen3-8B模型的表現從1.1%提升至6.7%。研究同時指出,同期先進的Claude Sonnet 4.5模型在該基準上取得了42.8%的成功率。
2026年2月6日,OpenAI發布的GPT-5.3-Codex模型在TerminalBench 2.0基準測試中取得了76%的成功率。
2026年2月11日,中國AI初創團隊Feeling AI的自研框架CodeBrain-1在TerminalBench 2.0基準測試中取得72.9%的成功率,位列全球第二。

相關詞條

熱門詞條

聯絡我們