Toolathlon，全稱Tool Decathlon，是一個針對語言代理的基準測試框架，用於評估大模型在真實環境中使用工具執行複雜、長序列任務的能力。該基準於2025年10月發布，由香港科技大學自然語言處理組(HKUST-NLP)主導開發。它涵蓋32個軟體套用和604個工具，包含108個需要多步驟互動的任務。
該基準測試被用於評估Gemini、GPT、Claude、MiniMax等前沿AI模型在複雜工具使用場景下的性能，相關測試結果常作為模型能力對比的指標。
基本介紹
- 外文名：Toolathlon
- 別名：Tool Decathlon
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
Toolathlon的研發背景是現有大模型工具使用能力評測存在空白。為了填補這些空白，特別是工具多樣性和長序列執行方面的不足，Toolathlon被開發出來，旨在推動語言代理向實際套用場景發展。
發展歷程
Toolathlon基準測試框架由香港科技大學自然語言處理組主導開發，於2025年10月29日以arXiv預印本形式首次公開發布，並同步在GitHub開源。
發布後，該基準迅速被用於評估多個前沿大語言模型的工具使用能力。截至2026年2月，包括MiniMax-M2.1、Claude Sonnet/Opus 4.5、Gemini 3 Pro、GPT-5.2及DeepSeek V3.2在內的主流模型均在Toolathlon上進行了測試並公布了成績。
至2026年3月，最新發布的GPT-5.4模型在Toolathlon基準上實現了更高的準確率和更少的互動輪次。
核心技術
Toolathlon的技術實現基於Model Context Protocol (MCP) 伺服器構建其工具集，其中多數工具經過了修改或自行實現。其核心採用多層設計架構，包括工具層、任務層和評估層。
工具層涵蓋了從Google Calendar、Notion到WooCommerce、Kubernetes、BigQuery等32個軟體套用的604個工具接口。與以往基準測試不同，Toolathlon提供了從真實軟體中採集的、多樣化的初始環境狀態，以構建高度仿真的測試場景。
任務層設計強調長時序、多步驟執行，平均每個任務需要與多個套用進行約20輪工具調用互動才能完成。
評估層則採用嚴格的、基於執行的驗證方法，為每個任務配備專用的評估腳本，通過檢查最終狀態來客觀計算任務成功率，確保評估的可重複性。
運營模式
Toolathlon採用執行式評估方法，對語言代理在多樣化、真實環境下的任務執行能力進行評測。任務完成後，由專用的驗證腳本自動檢查最終狀態，以判斷任務是否成功。核心評估指標為任務成功率，並輔以工具調用輪數、錯誤率等輔助指標進行綜合分析。整個評估過程不依賴人工標註，確保了結果的一致性和可重複性。評估協定與原始論文保持一致，以維護基準測試的嚴謹性和可比性。
核心團隊
Tool Decathlon 由香港科技大學自然語言處理組 (HKUST-NLP) 主導開發，核心作者包括 Junlong Li 等21位研究者。
重要事件
Toolathlon基準於2025年10月29日以arXiv預印本形式發布，論文編號2510.25726，由香港科技大學自然語言處理組主導開發，並開源在GitHub倉庫hkust-nlp/Toolathlon。
基準發布後對多項SOTA模型進行了全面測試，結果顯示閉源模型整體領先但成功率均未超過40%，其中最佳模型Claude-4.5-Sonnet成功率為38.6%，頂級開源模型DeepSeek-V3.2成功率為20.1%。
此後，2025年12月發布的GPT-5.2在Toolathlon的Thinking得分為46.3%。隨後，其他模型在該基準上的得分包括MiniMax-M2.1為43.5分、Claude Sonnet 4.5為38.9分、GPT-5.2 (thinking)為41.7分和DeepSeek V3.2為35.2分等。2026年3月發布的GPT-5.4在Toolathlon上能用更少的互動輪次實現更高準確率。
基於該基準，SII-GAIR等機構的研究如代碼歷史訓練方法宣稱在Toolathlon測試中使AI性能提升了47%。
