MCP-Atlas是一個用於評估AI模型工具使用能力的大規模基準。該基準由Scale AI於2025年12月20日發布，基於真實的MCP伺服器構建，包含36個伺服器和220種工具，其任務通過自然語言提示要求模型協調多次工具調用來進行評估。
在該基準的測試結果中，智譜公司的GLM-5模型排名第一。谷歌公司的Gemini 3 Flash模型達到了57.4%的準確率。
基本介紹
- 外文名：MCP-Atlas
- 上市時間：2025年12月20日
定義與特點,數據集與評估方法,評測表現,影響與意義,
定義與特點
MCP-Atlas是一個大規模基準，用於評估AI模型工具使用能力。
該基準使用真實的MCP伺服器構建，包含36個伺服器和220種工具。任務設計模擬現實的多步驟工作流，要求模型通過自然語言提示協調多個工具調用，每個任務通常需要進行3到6次工具調用。
數據集與評估方法
MCP Atlas是一個大規模基準，用於評估工具使用能力，包括36個真實的MCP伺服器和220種工具。任務旨在通過現實的多步驟工作流來評估工具使用能力，使用自然語言提示，要求代理識別並在多個伺服器上協調3-6次工具調用。數據集中每個樣本包含以下欄位：TASK（任務ID，為24位唯一標識符）、ENABLED_TOOLS（每個任務向智慧型體開放的、受控的10-25個工具子集）、PROMPT（單輪、需要多次工具調用的自然語言請求）、GTFA_CLAIMS（一組獨立的、可驗證的聲明，構成基於工具輸出的全面回答）、TRAJECTORY（解決任務所需的工具調用序列，包括名稱、方法、依賴關係、參數和輸出）。
隨數據集一同發布的評估套件允許獨立抓取和評估模型回響。模型回響通過基於聲明的評分標準進行評估，通過計算模型回響覆蓋預設聲明的比例來確定覆蓋率得分。TRAJECTORY數據可用於事後評估診斷。
該數據集根據CC-BY-4.0許可證發布，作者為ScaleAI，並於2025年12月20日更新。
評測表現
智譜於2026年2月發布的GLM-5模型在MCP-Atlas基準測試中取得了開源模型中的最優表現。
谷歌發布的Gemini 3 Flash模型在MCP-Atlas基準測試中達到了57.4%的準確率。
影響與意義
MCP-Atlas與BrowseComp、τ2-Bench等共同作為評估AI智慧型體工具使用與規劃能力的基準。例如，智譜GLM-5因在MCP-Atlas等多項評測中取得開源最優表現，而被視為其智慧型體能力達開源SOTA的標誌。谷歌Gemini 3 Flash的發布也重點提及了其在MCP-Atlas基準上達到57.4%的準確率。
