基本介紹
- 外文名：GraphWalks
研發背景,發展歷程,核心技術,
研發背景
GraphWalks由OpenAI開發，是一個多跳推理長上下文基準測試。
該基準旨在評估大語言模型在多跳推理和長上下文處理方面的能力，特別是作為衡量智慧型體執行多步驟長任務能力的硬指標。基準設計為要求模型執行圖遍歷任務，包含兩種操作類型：Parents（給定節點找出所有直接指向它的父節點）和BFS（廣度優先搜尋，從起點出發找到特定深度可達的節點）。
發展歷程
2025年4月12日，OpenAI發布了GraphWalks基準測試的初始數據集。2026年2月27日，該數據集進行了一次錯誤修復與最佳化。具體修正了“parents”任務中部分樣本的ground truth錯誤，根節點被意外包含在內。同時澄清了“BFS”任務提示中存在的歧義，明確要求模型僅返回恰好處於目標深度的節點。
該基準測試已被用於評估尖端大語言模型的性能。例如，在2026年初的評估中，Claude Opus 4.7模型在GraphWalks的BFS 1M任務上取得了58.6%的準確率。
核心技術
GraphWalks的核心技術在於將圖結構數據編碼至超長上下文中，並設計自動化評估任務。基準測試的核心數據載體是將一張有向圖以邊列表的形式表示，並填充至1M token的上下文長度中。基準包含兩種具體的圖遍歷任務類型，一是Parents任務，給定一個節點，找出所有直接指向它的父節點；二是BFS任務，從起點出發，找到特定深度內可達的所有節點。
每次評估的數據包含多個關鍵欄位，包括prompt、answer、prompt_chars以及problem_type。評估使用特定代碼從模型的回響中自動提取答案並進行評分，確保了評估的可重複性與標準化。
