Project GR00T是NVIDIA於2024年3月在GTC大會上推出的通用人形機器人基礎模型，旨在推動具身智慧型技術的發展。該模型能夠理解自然語言並通過觀察人類行為進行動作模仿，進而幫助機器人快速掌握協調、靈活性等技能，以適應現實世界的互動需求。結合GPU加速仿真訓練與強化學習技術，GR00T利用視頻數據生成機器人動作，並通過Isaac Lab等工具最佳化訓練流程。2025年4月，NVIDIA推出開源模型Isaac GR00T N1，其雙系統架構受人類認知原理啟發。
基本介紹
- 發布時間：2024年3月
- 開發公司：英偉達
- 核心技術：多模態指令處理
- 關聯平台：Isaac機器人平台
- 訓練工具：Isaac Lab
- 數據技術：合成數據生成
技術架構,開發工具,訓練方法,未來發展,產品系列,
技術架構
GR00T模型以多模態指令和過往互動為輸入，生成對應的機器人動作。2025年發布的GR00T N1採用雙系統架構，模擬人類認知機制，分別負責快速反應與複雜決策。
開發工具
NVIDIA為GR00T配套了Isaac Lab強化學習工具和OSMO計算編排服務，加速機器人技能的仿真訓練與部署。
訓練方法
GR00T驅動的機器人通過觀察人類行為進行模仿學習，結合少量人類演示和合成數據，可快速生成多樣化訓練數據集，將數據採集時間從數小時縮短至數分鐘。
未來發展
2024年3月，NVIDIA發布人形機器人通用基礎模型Project GR00T，推動通用人形機器人的開發進程。同月，Isaac GR00T Blueprint在CES展會上亮相，進一步最佳化機器人學習速度與適應性。
產品系列
NVIDIA Isaac GR00T N1 是全球首個開源且完全可定製的人形機器人基礎模型，該模型可賦能通用人形機器人實現推理及各項技能。GR00T N1 基於一個龐大的人形機器人數據集進行訓練，訓練數據還補充了通過 NVIDIA Isaac GR00T Blueprint 生成的合成數據，以及來自網際網路的大量視頻數據。它可以通過後訓練適應特定的實體、任務和環境。GR00T N1 可輕鬆適應並完成通用任務，如單手或雙手抓取、移動物體，將物體從一隻手臂轉移到另一隻手臂，或執行需要長語境和通用技能組合的多步驟任務。這些功能可套用於物品搬運、包裝和檢查等各種使用場景中。
模型架構：
GR00T N1 基礎模型受人類認知原理啟發，採用雙系統架構：
- 視覺-語言模型（系統 2）：這個系統是慢思考模型，由視覺語言模型提供支持，基於 NVIDIA-Eagle 和 SmolLM-1.7B，是一個方法論思考系統。它通過視覺和語言指令解釋環境，使機器人能夠對其環境和指令進行推理，並規劃正確的行動。
- 擴散 Transformer（系統 1）：是一個快速思考的動作模型，反映人類的本能反應或直覺。這個動作模型生成連續動作以控制機器人的運動，將系統 2 制定的動作計畫轉化為精確、連續的機器人運動。
NVIDIA Isaac GR00T Blueprint是一個用於合成運動生成的工作流，基於NVIDIA Omniverse和NVIDIA Cosmos構建，只需少量人類示範，就能輕鬆生成海量的合成數據集，以便通過模仿學習來訓練人形機器人。通過該blueprint，開發者可以在短短 11 小時內生成超過 78 萬個合成軌跡，相當於 6500 小時或九個月連續的人類演示數據。將這些合成數據與真實數據相結合後，與僅使用真實數據進行訓練的情況相比，GR00T N1 的性能能夠提升 40%。
關鍵技術：用於合成運動生成的 NVIDIA Isaac GR00T Blueprint 是一個用於模仿學習的仿真工作流，通過模仿學習，使開發者能夠從少量人類示範中生成數量呈指數級擴增的數據集，大幅降低在真實世界中採集數據的成本和複雜度。該工作流包括以下關鍵組成部分：
- GR00T-Teleop：即將推出，但已經可以使用藍圖中提供的樣本數據。
- NVIDIA CloudXR Runtime：將 Isaac Lab 中的仿真傳輸到 Apple Vision Pro，並接收用於人形機器人遠程操作的控制數據。
- 適用於 Apple Vision Pro 的 Isaac XR Teleop 示例套用：使用戶能夠與從 CloudXR Runtime 流式傳輸的 Isaac Lab 仿真進行沉浸式互動，並傳送回用於人形機器人遠程操作的控制數據。
- GR00T-Mimic：使用錄製的演示作為輸入，在 Isaac Lab 中生成額外的合成運動軌跡。此藍圖的第一版僅適用於單臂操作，支持人形機器人雙臂操作的版本即將推出。
- GR00T-Gen：通過隨機化場景中的背景、光照和其他變數來增加多樣性，並通過 NVIDIA Cosmos Transfer 增強生成的圖像。
- Isaac Lab：使用統一的開源機器人學習框架訓練機器人策略。Isaac Lab基於NVIDIA Isaac Sim構建。
工作流的優勢：通過 Isaac GR00T Blueprint，只需少量人類示範，就能輕鬆生成海量的合成數據集，顯著減少了開發和部署機器人系統所需的時間和資源。傳統上，經過適當訓練的人工操作員大約需要一分鐘來錄製一段高質量的示範動作，然而由於需要耗費大量人力，且存在出錯的可能性，這種方式很難大規模推廣。相比之下，這種新方法通過結合少量人類演示和合成數據，能達到相似的成功率，將數據採集時間從幾小時縮短到幾分鐘。
通過NVIDIA Cosmos，可以增強合成圖像，以實現所需的逼真度，僅使用文本提示即可有效縮小仿真與現實之間的差距。這種方法顯著簡化了數據收集過程，能夠生成多樣化的大型數據集，同時保持或提高生成的機器人策略的質量。
