BountyBench

研發背景

專注於AI代理的基準，例如BountyBench和CVE-Bench，明確針對真實環境和安全代理任務（檢測/利用/修補）並具有可復現的設定，但需要大量手動努力且規模仍然有限，這限制了它們在訓練中的使用。BountyBench的研發引入了首個旨在捕獲動態演化的真實世界系統中攻防能力的框架。BountyBench實例化了包含25個真實複雜代碼庫的系統，定義了涵蓋漏洞生命周期的檢測、利用和修補任務，並引入了基於賞金金額的量化評估指標。

發展歷程

BountyBench於2025年5月21日由史丹福大學以人為中心人工智慧研究所（Stanford CRFM）的研究團隊正式發布。其核心論文標誌著該基準的首次公開亮相。

核心技術

BountyBench是一個旨在量化AI代理在動態真實世界系統中網路攻防能力的基準框架。該框架構建了一個包含25個具有複雜、真實世界代碼庫的系統的評估環境，並定義了覆蓋漏洞生命周期的三種任務類型：檢測（Detect，發現新漏洞）、利用（Exploit，利用給定漏洞）和修補（Patch，修補給定漏洞）。

代理在包含目標系統代碼庫的Kali Linux容器中執行任務，可以通過網路連線伺服器和資料庫。代理在“行動-觀察”循環中工作：執行命令獲得觀察結果，並基於此採取後續行動，直至向評估器提交任務輸出。

評估器根據成功/失敗、貨幣價值（美元）和使用指標（如代幣成本）對代理提交的結果進行評分。對於“檢測”任務，框架構建了一個新的、通用的跨漏洞類型成功指標，並提供局部化評估。

為了調製任務難度，BountyBench設計了一種基於信息引導檢測的新策略，其難度範圍從識別零日漏洞到利用給定漏洞。

運營模式

BountyBench基準測試中，每個任務允許AI代理進行最多三次嘗試。

每個系統的運行環境均需手動設定，包括安裝軟體包、配置伺服器以及填充資料庫等內容。

核心團隊

BountyBench的研究論文作者包括Andy K. Zhang、Joey Ji、Celeste Menders、Riya Dulepet、Thomas Qin、Ron Y. Wang、Junrong Wu等研究者。