發展歷史
2026年1月,
智元機器人在CES國際消費電子展上發布了
大語言模型驅動的開源仿真平台Genie Sim 3.0。該平台基於NVIDIA Isaac Sim構建,融合
三維重建與視覺生成技術,具備數字資產生成、場景泛化、數據採集到自動評測的全流程功能。
2026年3月,AGIBOT WORLD CHALLENGE全球具身智慧型挑戰賽以Genie Sim 3.0為仿真平台,參賽者可基於開源的ACoT-VLA模型進行二次開發與創新。同月,在英偉達GTC 2026大會上,智元仿真業務負責人吳墨發表主題演講,介紹了基於NVIDIA Isaac Sim打造的Genie Sim 3.0仿真平台及其在規模化商用方面的進展。依託該平台訓練的模型搭配智元精靈G2機器人,在真實產線中實現了較高的抓取成功率。2026年4月8日,智元Genie Sim 3.0一站式仿真開發平台官宣升級,可通過環境生成、場景泛化、數據採集到模型評測的全流程仿真,加速模型訓練驗證。該次升級中,平台實現了以自然語言或單張圖片即時生成高保真、可互動、可訓練三維場景的“自然語言造世界”能力;同步升級了針對語言指令理解、空間關係認知等五大維度的Genie Sim Benchmark評測基準;並發布了Genie Sim x RLinf開源適配方案,以提升強化學習採樣效率。這些更新旨在與AGIBOT WORLD 2026數據集協同,推動具身智慧型研發範式的演進。
核心技術
Genie Sim 3.0基於NVIDIA Isaac Sim仿真引擎構建。平台融合三維重建與視覺生成技術以構建仿真環境,其環境構建技術支持通過掃描設備對真實環境進行三維重建,並利用視覺生成模型增強仿真環境的視覺細節。對於物體建模,可通過一段環拍視頻生成帶格線的仿真模型。平台包含大語言模型驅動的場景生成與泛化功能,允許開發者通過自然語言指令驅動平台自動生成多個訓練與測試場景,該功能基於
OpenUSD格式實現。在Genie Sim 3.0中,只需一句話或一張圖,即可生成可互動、可漫遊、可訓練的三維世界,實現“輸入即場景”的即時生成體驗。
平台開源了涵蓋多項任務的大規模仿真數據集。數據採集通過兩種方案進行:一是基於VR設備的遙操作,實現人類操作與
物理引擎的互動;二是使用自動化數據採集方案,基於運動規劃能力生成自動化軌跡。平台構建了覆蓋大量仿真場景的評估體系,該體系可利用
大語言模型根據場景語義生成評測指令,並藉助視覺語言模型從語義理解、空間推理、操作精度等多維度進行評估。
根據相關測試,當仿真數據規模達到一定量級時,訓練出的模型在真機上的表現優於僅使用真機數據訓練的模型,有助於實現零樣本遷移。經過多次對比測試,模型在仿真評測中的成功率與真機測試結果具備統計相關性,仿真與真實世界的平均評測差異小於10%。
重要事件
2026年1月7日,
智元機器人在CES 2026國際消費電子展上正式發布首個大語言模型驅動的開源仿真平台Genie Sim 3.0。
2026年3月16日,在英偉達GTC 2026大會上,智元仿真業務負責人吳墨發表主題演講,展示了基於NVIDIA Isaac Sim打造的Genie Sim 3.0仿真平台,並公布了工業落地標桿案例,如僅用2萬幀仿真數據訓練實現真機抓取成功率100%。
2026年3月,AGIBOT WORLD CHALLENGE全球具身智慧型挑戰賽將Genie Sim 3.0作為仿真環境,參賽者可基於開源的ACoT-VLA模型進行二次開發與創新。
同月,智元舉辦的“機器人+”挑戰賽中,“Reasoning to Action”賽道使用Genie Sim 3.0作為仿真環境,用於評估模型的推理和動作執行能力。
2026年4月8日,智元Genie Sim 3.0一站式仿真開發平台官宣升級,該平台可通過環境生成、場景泛化、數據採集到模型評測的全流程仿真,加速模型訓練驗證。該平台支持通過一句話或一張圖生成可互動、可漫遊、可訓練的三維世界,實現輸入即場景的生成。
核心團隊
智元仿真業務負責人吳墨在2026年3月16日的英偉達GTC 2026大會上發表主題演講,向全球開發者深度展示了基於NVIDIA Isaac Sim打造的Genie Sim 3.0仿真平台,並介紹了該平台在規模化商用方面的進展。