GDPval-AA

GDPval-AA是由第三方獨立機構Artificial Analysis基於OpenAI的GDPval數據集開發的一項AI基準測試系統,旨在評估大模型在真實世界知識工作任務中的表現。該評估覆蓋44種職業與9大GDP核心行業,其任務源自資深從業者的真實交付物,並通過引入agentic工作流與盲測兩兩對比的Elo評分機制來衡量模型性能。

截至2026年2月,在GDPval-AA的Elo排行榜上,Anthropic的Claude Opus 4.6模型以1606分位居榜首。其他主流模型如GPT-5.4、Claude Sonnet 4.6等也在該基準上被評估與比較。

研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,

研發背景

GDPval-AA是第三方獨立機構Artificial Analysis在OpenAI公開的GDPval數據集基礎上開發的大模型評估基準。它進一步引入了agentic(代理)能力評估和ELO排行榜,成為當前最受關注的“實用性”評測基準之一。
該基準旨在更貼近企業真實需求,直接衡量模型在金融、法律、醫療、製造等高經濟價值場景中的表現,評估模型在真實世界知識工作任務中的“經濟價值”。其設計理念代表了大模型評測從“學術考試”向“職場實戰”的重要轉向。
該基準覆蓋了44種知識工作職業、9大GDP核心行業,任務來自資深職業人士(平均14年經驗)的真實交付物。評估時讓模型在agent循環中工作,並通過盲測兩兩對比的方式計算Elo分數。

發展歷程

GDPval-AA基準推出後,成為當前最受關注的“實用性”評測基準之一,其基於Elo評分的排行榜用於衡量AI模型在真實世界知識工作任務上的表現。
截至2026年2月,GDPval-AA已成為衡量通用智慧型體性能的主要指標,其排行榜覆蓋的模型變體數量已增至233個,並隨著新模型的發布而快速變化。

核心技術

GDPval-AA的核心技術包括Agentic評估框架、ELO評分系統、第三方獨立性和透明開源。其Agentic評估框架使模型在智慧型體循環中運行,通過開源框架如Stirrup使用Shell命令和網頁瀏覽來模擬實際智慧型體的工作流程。ELO評分系統採用盲測成對比較計算ELO分數,用於多模型間的比較。該基準由Artificial Analysis獨立開發,以避免廠商自我評估偏差,覆蓋233個模型變體,有助於提升其可信度。數據集部分開源且評估框架公開,支持社區進行更貼近實際套用的AI評估。這些設計旨在評估模型在企業環境中的適用性,其評估範圍涵蓋財務、法律、醫療、製造等多個領域。

運營模式

GDPval-AA以公開發布的ELO排行榜為主要形式,採用盲測成對比較計算ELO分數,目前已覆蓋233個模型變體。其評估數據集部分開源,評估框架公開,鼓勵社區共同推進更真實的AI評測。
GDPval-AA的排行榜結果被用於對比不同模型在辦公、知識工作等場景下的實用性能。該測試涵蓋了金融、法律等領域的實際工作任務。例如,Kimi K2.5在評估中取得1309的Elo評分,Claude Sonnet 4.6在辦公任務中達到1633分。

核心團隊

GDPval-AA由第三方獨立機構Artificial Analysis開發。

重要事件

GDPval-AA是Artificial Analysis基於OpenAI GDPval數據集做的評估,覆蓋44種知識工作職業、9大GDP核心行業,任務來自資深職業人士的真實交付物,使用agent loop和盲測兩兩對比打Elo分。GDPval-AA是衡量通用智慧型體性能的主要指標,用於評估模型在實際知識工作任務上的表現,並成為當前最受關注的實用性評測基準之一。
2026年1月28日,月之暗面公司的Kimi K2.5模型在GDPval-AA評估中取得了1309的Elo評分。2026年2月,Anthropic公司的Claude Opus 4.6在GDPval-AA排行榜上以1606分登頂,其表現比當時業界次優模型OpenAI的GPT-5.2高出約144個Elo分數。截至當月,排行榜前五名還包括Claude Opus 4.6 (Non-reasoning, 1579分)、GPT-5.2 (xhigh, 1462分)等模型。
2026年2月18日,Anthropic發布的新模型Claude Sonnet 4.6在辦公任務的GDPval-AA Elo評分中達到1633分,超過了Opus 4.6的1606分和GPT-5.2的1462分。2026年3月19日,小米公司發布的MiMo-V2-Pro模型在GDPval-AA中取得1426 Elo分,領先於GLM-5、Kimi K2.5等同類模型。同期,GPT-5.4和Claude Sonnet 4.6的Elo分分別為1667和1633。2026年4月9日,Meta公司發布Muse Spark模型,其在GDPval-AA Elo測試(辦公任務)中的得分為1444分,而當時GPT-5.4和Claude Opus 4.6的得分分別為1672分和1606分。
GDPval-AA排行榜的快速變化推動大模型評測從“學術考試”向“職場實戰”轉向。

相關詞條

熱門詞條

聯絡我們