VLABench是一個用於評估語言條件下機器人操作與長時序推理任務的大規模開源基準測試。它由Shiduo Zhang等人提出，包含100個精心設計的任務類別和2000多個對象。
VLABench於2024年12月25日發布預覽版本。2025年6月26日，該基準被ICCV 2025會議接收。此後經歷了多次更新，包括增加並行數據收集與評估等功能。
基本介紹
- 外文名：VLABench
- 上市時間：2024年12月25日
研發背景,發展歷程,核心技術,核心團隊,
研發背景
VLABench是一個用於評估通用語言條件下機器人操作任務學習的開源基準測試集。該基準在任務需要使用世界知識與常識遷移、指令採用自然語言表達蘊含人類隱式意圖而非模板化描述、長時序任務需要多步推理以及同時評估動作策略能力和語言模型能力等關鍵方面顯著優於現有基準。
發展歷程
2024年12月25日，VLABench預覽版發布。2025年2月14日，發布了軌跡生成腳本。2025年2月26日，發布了參考評估管道。2025年3月25日，發布了標準評估episodes和原始任務微調數據集。2025年4月10日，發布了微調的pi0檢查點。2025年6月26日，VLABench被ICCV 2025接受。
2025年8月6日，VLABench進行了更新，內容包括並行數據收集、並行評估示例、相機增強等。2025年11月10日，上傳了數個新檢查點作為基線。
核心技術
VLABench採用靈活的模組化框架用於任務構建，並提供標準基準數據集用於多維度評估。其評估軌道包括六個維度：track_1_in_distribution（分布內）、track_2_cross_category（跨類別）、track_3_common_sense（常識）、track_4_semantic_instruction（語義指令）、track_5_cross_task（跨任務）、track_6_unseen_texture（未見紋理）。
在技術實現上，VLABench支持對視覺-語言-動作模型（VLA/policy）和視覺-語言模型（VLM）的評估，並支持多GPU並行評估，確保不同模型能在相同環境下進行公平比較。VLABench的評估能力涵蓋對格線和紋理的理解、空間關係的推理、語義指令的理解、物理規律的掌握以及知識遷移與推理等多個方面。
核心團隊
VLABench的核心團隊由題為《VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks》論文的作者組成，包括Shiduo Zhang、Zhe Xu、Peiju Liu、Xiaopeng Yu、Yuan Li、Qinghui Gao、Zhaoye Fei、Zhangyue Yin、Zuxuan Wu、Yu-Gang Jiang、Xipeng Qiu。
該團隊的核心研究成果為此篇論文，論文已被ICCV 2025接收，論文連結為https://arxiv.org/abs/2412.18194，源碼連結為https://github.com/OpenMOSS/VLABench。
