Genie Sim Benchmark是智元機器人發布並開源的一款基於仿真功能的具身AI模型評測與驗證工具。該工具於2025年4月23日首次發布，作為Genie Sim仿真平台的開源評測版本，旨在為機器人算法模型提供標準化的自動評測體系，以加速算法疊代並降低對物理硬體的依賴。智元機器人在CES發布了Genie Sim 3.0平台，其內置的Benchmark 3.0版本構建了基於超10萬仿真場景的多維評估體系，利用大語言模型(LLM)和視覺語言模型(VLM)技術進行自動化評測生成與多維度深度評估。隨後在2026年4月8日，Genie Sim 3.0迎來升級，Benchmark針對語言指令理解、空間關係認知等五大核心能力設計了任務套件。該工具提供十餘個高難度評測任務及500多種高保真物體資產，支持用戶快速搭建場景與自定義評測，其仿真環境與真實世界的評測差異小於10%。
基本介紹
- 外文名：Genie Sim Benchmark
- 產品類型：具身AI模型評測與驗證工具
- 上市時間：2025年4月23日
發展歷程,重要事件,
發展歷程
2025年4月23日，智元機器人正式發布並開源了一款基於仿真功能的模型評測與驗證工具——Genie Sim Benchmark。該工具是智元仿真平台Genie Sim的開源評測版本，專注於為具身人工智慧模型提供性能測試與最佳化支持，旨在減少對物理硬體的依賴，加速算法疊代。
2026年1月7日，在CES國際消費電子展上，智元機器人發布了全球首個大語言模型驅動的開源仿真平台Genie Sim 3.0，其內置的Genie Sim Benchmark也升級至3.0版本。新版本構建了基於超10萬仿真場景的多維立體評估體系，利用大語言模型(LLM)自動生成評測流程，並藉助視覺語言模型(VLM)從語義理解、空間推理等多維度進行深度評估，仿真與真實世界的評測差異已小於10%。
2026年4月8日，智元機器人推出Genie Sim 3.0一站式仿真開發平台，其內置的Genie Sim Benchmark迎來新升級。此次升級針對機器人算法核心的五大能力（語言指令理解、空間關係認知、原子技能操作、環境擾動適應、零樣本跨域遷移）分別設計了五大任務套件，支持Genie Operator系列、π系列、GR00T系列等主流基座模型，旨在多維度系統性評估模型在複雜場景下的綜合表現。
重要事件
2025年4月23日，智元機器人發布並開源基於仿真功能的模型評測和驗證工具Genie Sim Benchmark，該工具用於為具身AI模型提供性能測試和最佳化支持。相關代碼在GitHub平台開源。
2026年1月7日，在CES國際消費電子展上，智元機器人推出了大語言模型驅動的開源仿真平台Genie Sim 3.0。該平台的核心代碼、數據集及數字資產被開源。
