研發背景
該基準旨在更貼近企業真實需求,直接衡量模型在金融、法律、醫療、製造等高經濟價值場景中的表現,評估模型在真實世界知識工作任務中的“經濟價值”。其設計理念代表了大模型評測從“學術考試”向“職場實戰”的重要轉向。
該基準覆蓋了44種知識工作職業、9大GDP核心行業,任務來自資深職業人士(平均14年經驗)的真實交付物。評估時讓模型在agent循環中工作,並通過盲測兩兩對比的方式計算Elo分數。
發展歷程
GDPval-AA基準推出後,成為當前最受關注的“實用性”評測基準之一,其基於Elo評分的排行榜用於衡量AI模型在真實世界知識工作任務上的表現。
截至2026年2月,GDPval-AA已成為衡量通用智慧型體性能的主要指標,其排行榜覆蓋的模型變體數量已增至233個,並隨著新模型的發布而快速變化。
核心技術
GDPval-AA的核心技術包括Agentic評估框架、ELO評分系統、第三方獨立性和透明開源。其Agentic評估框架使模型在智慧型體循環中運行,通過開源框架如Stirrup使用Shell命令和網頁瀏覽來模擬實際智慧型體的工作流程。ELO評分系統採用盲測成對比較計算ELO分數,用於多模型間的比較。該基準由
Artificial Analysis獨立開發,以避免廠商自我評估偏差,覆蓋233個模型變體,有助於提升其可信度。數據集部分開源且評估框架公開,支持社區進行更貼近實際套用的AI評估。這些設計旨在評估模型在企業環境中的適用性,其評估範圍涵蓋財務、法律、醫療、製造等多個領域。
運營模式
GDPval-AA以公開發布的ELO排行榜為主要形式,採用盲測成對比較計算ELO分數,目前已覆蓋233個模型變體。其評估數據集部分開源,評估框架公開,鼓勵社區共同推進更真實的AI評測。
核心團隊
重要事件
GDPval-AA是
Artificial Analysis基於OpenAI GDPval數據集做的評估,覆蓋44種知識工作職業、9大GDP核心行業,任務來自資深職業人士的真實交付物,使用agent loop和盲測兩兩對比打Elo分。GDPval-AA是衡量通用智慧型體性能的主要指標,用於評估模型在實際知識工作任務上的表現,並成為當前最受關注的實用性評測基準之一。
2026年1月28日,月之暗面公司的Kimi K2.5模型在GDPval-AA評估中取得了1309的Elo評分。2026年2月,Anthropic公司的
Claude Opus 4.6在GDPval-AA排行榜上以1606分登頂,其表現比當時業界次優模型OpenAI的
GPT-5.2高出約144個Elo分數。截至當月,排行榜前五名還包括Claude Opus 4.6 (Non-reasoning, 1579分)、GPT-5.2 (xhigh, 1462分)等模型。
2026年2月18日,Anthropic發布的新模型
Claude Sonnet 4.6在辦公任務的GDPval-AA Elo評分中達到1633分,超過了Opus 4.6的1606分和
GPT-5.2的1462分。2026年3月19日,小米公司發布的
MiMo-V2-Pro模型在GDPval-AA中取得1426 Elo分,領先於GLM-5、Kimi K2.5等同類模型。同期,
GPT-5.4和Claude Sonnet 4.6的Elo分分別為1667和1633。2026年4月9日,Meta公司發布
Muse Spark模型,其在GDPval-AA Elo測試(辦公任務)中的得分為1444分,而當時GPT-5.4和Claude Opus 4.6的得分分別為1672分和1606分。
GDPval-AA排行榜的快速變化推動大模型評測從“學術考試”向“職場實戰”轉向。