Claw-Eval

Claw-Eval是一個用於評估大型語言模型作為智慧型體的端到端透明基準測試。該基準在現實世界中運行，包含104個任務與15項服務，採用Docker沙箱和魯棒評分機制，其v1.0.0版本已發布。

其評估邏輯於2026年3月更新，主要採用Pass^3指標，要求模型在三次獨立運行中均成功才算通過，並致力於端到端的可復現性。該基準已被用於評估多個大型語言模型的實際能力。

研發背景

Claw-Eval是一個用於評估大型語言模型作為智慧型體的端到端透明基準測試。其核心目標是在現實世界中評估AI智慧型體的能力，並建立在可復現的真實世界複雜性之上。

發展歷程

Claw-Eval項目於2026年3月發布了其v1.0.0版本並正式上線。同月，項目對其評估邏輯進行了重要更新，引入了Pass^3（Pass Cubed）作為核心指標。

核心技術

Claw-Eval是一個用於評估大型語言模型作為智慧型體的端到端透明基準測試。該基準測試在現實世界中運行，包含104個任務、15項服務，採用Docker沙箱和魯棒的評分機制。

其核心評估邏輯採用Pass^3指標，即模型必須在三次獨立試驗中持續通過任務才能獲得成功積分，旨在消除“僥倖運行”。嚴格通過標準要求任務只有在所有三次運行中都滿足成功條件時才被標記為通過。

項目致力於端到端的可復現性，代碼庫正在接受審計以確保排行榜上的所有基準結果都能被社區驗證。對於網路或API波動導致的執行錯誤，會手動重新觸發評估以確保成功生成恰好3條軌跡。

運營模式

Claw-Eval項目採用開放協作的模式，歡迎任何形式的貢獻。

其測試案例構建於社區工作之上，借鑑並改編了來自OpenClaw、PinBench、OfficeQA、OneMillion-Bench、Finance Agent和Terminal-Bench 2.0等項目的任務。

項目公開的未來發展路線圖包括在複雜生產力環境中增加更多真實世界的多模態任務，開發具有深度狀態驗證的全面、細粒度評分邏輯，以及增強沙箱隔離和全鏈路追蹤以實現透明、可擴展的評估。

核心團隊

Claw-Eval的核心團隊包括主要貢獻者Bowen Ye (PKU)、Rang Li (PKU)、Qibin Yang (PKU)和Zhihui Xie (HKU)，項目負責人為Lei Li (HKU, Project Lead)，顧問團隊包括Tong Yang (PKU)、Zhifang Sui (PKU)、Lingpeng Kong (HKU)和Qi Liu (HKU)。

重要事件

小米MiMo-V2-Pro在Claw-Eval基準測試中取得75.7分，位列全球前三、中國第二，其成績僅次於Anthropic公司的Claude Opus 4.6模型。