RoboChallenge真機評測榜

RoboChallenge真機評測榜是由Dexmal原力靈機聯合Hugging Face發起的全球首個大規模、多任務真實物理機器人基準評測榜單。2026年1月12日,千尋智慧型的Spirit v1.5模型以總分66.09、成功率50.33%的成績登頂該榜單,超越美國Pi0.5模型。此前,自變數機器人的WALL-OSS模型曾以46.43分排名全球第二。

榜單概況,評測平台,任務與評估體系,評測規則與流程,開放性與透明度,評測結果,意義與影響,

榜單概況

RoboChallenge真機評測榜是由Dexmal原力靈機聯合Hugging Face發起的一個多任務真實物理機器人基準評測榜單,評測在真實物理環境中由真實機器人執行操作。

評測平台

RoboChallenge平台支持UR5、Franka Panda、Aloha、ARX-5等機器人進行遠程真機評測,並提供了任務演示數據及測試中間結果,平台記錄並提供了機器人執行任務的過程。
該平台的Table 30任務集包含30個日常操作任務,其評估體系從VLA方案難點、機器人類型、任務場景環境、目標物體屬性四個維度構建,覆蓋了具身模型可能遇到的多種情況。
該平台的測試規則允許模型進行最佳化或微調,開發者可以使用任務示範數據進行模型訓練。模型訓練完成後需對接平台標準化API,平台提供了統一的框架代碼,要求模型實現觀察-推理-停止的完整互動閉環,並可通過模擬測試進行驗證。

任務與評估體系

該評測的首發任務集為“Table 30”,包含30個真實日常操作任務,其任務數量遠超行業常見的3-5個任務的真機評測規模。該任務集從四個維度構建評估體系:VLA方案難點、機器人類型、任務場景環境、目標物體屬性,旨在覆蓋具身智慧型模型在真實世界中可能遇到的多樣複雜情況。
評測平台集成了UR5、Franka Panda、Aloha、ARX-5等多款主流機器人,用於遠程真機評測。
評測規則允許開發者使用平台官方提供的任務示範數據對模型進行訓練和最佳化。模型需對接平台標準化API,平台提供統一框架代碼,開發者補充自身邏輯以實現觀察-推理-停止的互動閉環,並可通過模擬測試驗證。最終評估請求進入人工調度佇列,在真實場景中由機器人執行任務,結果由平台自動發布。

評測規則與流程

RoboChallenge的評測規則允許模型進行針對性最佳化或微調,開發者可以使用官方提供的任務示範數據對模型進行訓練。其評測模式類似於“開卷考”,任務描述和場景環境提前公開,參賽方無需提交模型權重,僅需提供可驅動機器人的算法。
模型訓練完成後,需對接平台標準化API。平台提供統一的框架代碼,參賽方僅需補充自身邏輯,確保模型實現觀察-推理-停止的完整互動閉環,並可通過模擬測試進行驗證。
評估請求進入人工調度佇列後,任務將在真實場景中執行,最終結果由平台自動發布。平台通過統一的真機執行,以動作視頻和任務完成率作為評分依據。

開放性與透明度

RoboChallenge平台公開了所有任務的演示數據及測試中間結果,所有人都能看到機器人執行任務的全過程監控記錄。任務執行詳情界面包含多視角視頻畫面、記錄機械臂六個關節角度變化的arm圖表、記錄夾爪開合狀態的arm_gripper圖表,以及展示任務ID和執行時長等基礎信息的信息欄。界面底部設有時間軸,可同步查看任意時間點的視頻畫面與機械臂或夾爪狀態,以快速定位動作異常環節。

評測結果

此前,自變數機器人的端到端具身智慧型基礎模型WALL-OSS以46.43分的成績,超越美國Physical Intelligence的pi0模型,總分排名全球第二。2026年1月12日,千尋智慧型具身智慧型基礎模型Spirit v1.5在RoboChallenge真機評測榜登頂,以總分66.09、成功率50.33%超越美國Physical Intelligence的pi0.5模型。

意義與影響

RoboChallenge真機評測榜是由Dexmal原力靈機聯合Hugging Face發起的一個大規模、多任務真實物理機器人基準評測榜單。其評測維度覆蓋複雜指令理解、多步驟操作、跨場景穩定性等,是具身智慧型領域的一個基準測試。
該榜單公開了所有任務演示數據及測試中間結果,所有人都能看到機器人執行任務的全過程監控記錄。榜單上優秀模型的表現反映了具身智慧型領域從硬體競爭向算法競爭的轉變。

相關詞條

熱門詞條

聯絡我們