RoboChallenge是一個在真實物理環境中由機器人執行操作任務的基準測試平台，於2025年10月15日發布。該平台由Dexmal原力靈機與Hugging Face共同發起，用於評估視覺語言動作模型在機器人中的套用。
2025年11月20日，RoboChallenge組委會成立，智源研究院、智元機器人、自變數、清華大學等多方機構與企業參與。平台首期採用UR5、Franka Panda等四款工業機械臂，包含30個日常情境任務的Table30測試集，並提供遠程真機實驗室，其評估體系採用成功率與進度得分的雙指標體系。
發展歷史,平台架構與特點,測試任務與評估體系,組織與治理,影響與評價,
發展歷史
RoboChallenge於2025年10月15日正式發起，由Dexmal原力靈機聯合Hugging Face共同發起。該平台旨在構建一個開放、透明的具身智慧型評測平台，為視覺語言動作模型(VLAs)在機器人上的套用提供可靠、可比較的真機評估標準。
隨後，在智源研究院、智元機器人、Qwen、星海圖、自變數、清華大學、西安交通大學、GOSIM等國內外知名機構與企業共同推動下，2025年11月20日，RoboChallenge組委會正式成立。這標誌著具身智慧型真機測評進入標準化、協作化發展的新階段。組委會的成立旨在將RoboChallenge升級為行業級公共基礎設施，通過標準化、常態化的運營機制，推動具身智慧型評測從“分散實驗”邁向“共識共建”。
平台架構與特點
RoboChallenge首期採用配備夾爪的機械臂作為標準化平台，集成了UR5、Franka Panda、COBOT Magic Aloha及ARX-5等多款主流工業機械臂用於遠程真機評測。平台構建了標準化機器人測試環境，每台機器人配備了2-3台RealSense RGBD攝像頭作為標準感測方案，同步輸出多視角RGB與對齊的深度信息，並與統一軟體棧實現高可靠性聯動。
RoboChallenge推出了遠程機器人評測模式，通過雲端化服務和標準化的API接口，研究者即使不擁有實體機器人，也能在平台上完成算法部署、任務執行與結果驗證。
為確保評測的公平與可復現，RoboChallenge採用了視覺輸入匹配方法，通過實時比對參考圖像來精確重置任務初始狀態。平台堅持全面開放原則，不僅免費提供評測服務，更公開所有任務的演示數據（如Table30任務集每個任務提供高達1000條軌跡數據）、測試中間結果與執行日誌，實現了可復現、可驗證與可追溯的透明度。
2025年11月20日，RoboChallenge組委會正式成立。組委會採用指導委員會與工作組的雙層架構，下設基準與任務設計、實驗室維護、平台開發、社區共建四大核心工作組，旨在將RoboChallenge升級為行業級公共基礎設施，通過開放、協作、共識的原則推動具身智慧型評測生態建設。
測試任務與評估體系
RoboChallenge推出的一套基準測試集為“Table30”，這是一個包含30個日常情境任務的桌面操作基準測試集。其任務涵蓋擦桌、澆花、開關電器、堆疊積木、分類物品等多種具身操作場景。
Table30以“科學分類學”為設計理念，從四個維度構建評估體系：VLA模型難點、機器人類型、任務場景環境和目標物體屬性，旨在系統性地覆蓋具身模型在真實世界中可能遇到的多樣複雜情況。
RoboChallenge採用了“任務成功率”與“進度得分”相結合的雙指標體系。“進度得分”系統將任務拆解為多個關鍵階段並按推進程度累計分值，在任務未完成時也能反映模型的執行進度。
為支持模型訓練與最佳化，Table30測試集為所有任務提供了約1000條演示數據，並公開所有任務的演示數據及測試中間結果，包括多視角視頻、機械臂關節角度、夾爪狀態等監控記錄。
該基準測試集的設計在官方學術論文《RoboChallenge: Real-robot based Large Scale Evaluation of Embodied Policies》中有所論述。
組織與治理
RoboChallenge組委會於2025年11月20日正式成立。組委會的成立旨在將RoboChallenge升級為行業級公共基礎設施，通過標準化、常態化的運營機制，推動具身智慧型評測從“分散實驗”邁向“共識共建”。
組委會採用指導委員會加工作組的雙層架構，下設四大核心工作組：基準與任務設計工作組、實驗室維護工作組、平台開發工作組、社區共建工作組。其核心運作原則包括測試開放可復現、社區包容非競爭、貢獻開源可追溯，旨在構建透明、高效、可信的具身智慧型評測生態，助力行業評測標準的加速形成與落地。
影響與評價
RoboChallenge被業界視為機器人領域的一個評測基準，其發布標誌著具身智慧型進入大規模、標準化的真機評測階段。平台通過大規模真機測試、統一任務標準與評估指標、跨模型對照機制，有助於提升評測的公平性。
在2025年底至2026年初的評測中，其榜單排名前列的模型包括pi0.5、WALL-OSS和pi0。其中，自變數機器人的WALL-OSS模型在其中一次評測中排名全球第二。
2025年底，曾出現“自變數模型在RoboChallenge測評中得分異常”的情況。RoboChallenge官方隨後澄清並表示，“請注意，以前顯示的一些結果可能是臨時的、部分的或僅用於調試目的。”該情況的起因是評測平台本體暫不支持該模型的控制方式，接口調試過程中的截屏被誤讀為最終結果，雙方正在進行軟硬體適配。
平台計畫建立一套可持續演進的任務體系，形成一個公開的排行榜，並積累標準化的評測數據。通過提供評測服務，平台意在構建透明、可復現的行業評測生態，輔助定義具身智慧型的度量標準。
