核心技術
TerminalBench 2.0是一個人工策劃的基準測試。該基準由史丹福大學與Laude Institute聯合打造,用於評估AI智慧型體在真實命令行環境下的端到端執行能力。測試在隔離的Docker容器中進行,包含多個橫跨軟體工程與科學計算的任務,採用嚴格的驗證標準。2.0版本進一步提高了測試難度。該基準包含了各種難度的終端任務,從簡單的檔案操作到複雜的系統管理挑戰。模型在這些從未見過的任務上表現出了實質性的提升。
重要事件
2025年12月24日,
GLM-4.7模型發布,在TerminalBench 2.0基準測試中達到41%的成功率,較其前代
GLM-4.6提升16.5%。
2026年1月27日,
史丹福大學與微軟研究院聯合發布研究,展示了經過“Endless Terminals”訓練的模型在TerminalBench 2.0上的性能提升,其中Qwen3-8B模型的表現從1.1%提升至6.7%。研究同時指出,同期先進的
Claude Sonnet 4.5模型在該基準上取得了42.8%的成功率。
2026年2月6日,OpenAI發布的GPT-5.3-Codex模型在TerminalBench 2.0基準測試中取得了76%的成功率。
2026年2月11日,中國AI初創團隊Feeling AI的自研框架CodeBrain-1在TerminalBench 2.0基準測試中取得72.9%的成功率,位列全球第二。