基本介紹
- 外文名：Isaac Lab
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
NVIDIA Isaac Lab的推出是為了應對傳統機器人訓練方法在真實物理硬體上實施時存在的局限性。
Isaac Lab是一個模組化的高精度仿真框架，與NVIDIA Isaac Sim原生集成，使用GPU加速的PhysX物理特性和RTX渲染。該框架作為Isaac Gym的替代版本推出，是一個面向多模態機器人學習的GPU加速仿真框架，旨在整合GPU並行的物理仿真、渲染功能與模組化架構。它旨在提供一個輕量級仿真環境，用於快速對機器人策略進行原型設計和驗證，然後再部署到生產系統。除物理仿真與渲染功能外，該框架還集成了執行器模型、多頻率感測器仿真、數據採集流程及領域隨機化工具，在單一可擴展平台內整合了大規模強化學習與模仿學習的最佳實踐方案。該框架致力於幫助縮小仿真與現實之間的差距，其設計目標是實現高效、安全且可擴展的機器人學習。
發展歷程
2024年3月，在NVIDIA GTC大會上宣布對Isaac Lab進行升級，以支持GR00T等項目。2024年6月，Isaac Lab作為NVIDIA Isaac Sim 4.0的一部分正式推出。同年7月，在SIGGRAPH 2024大會上，Isaac Lab作為一個用於機器人學習的開源模組化框架正式發布。2025年1月，NVIDIA宣布即將推出Isaac Lab 2.0版本，該版本提高了性能和易用性，帶來了平鋪渲染速度的提升（最高達1.2倍），並通過Python包管理器及容器化改進了安裝與部署體驗。2025年3月，Isaac Lab發布了v2.0.2補丁版本，改進了執行器配置並修復了關鍵bug，同時恢復了從v2.0.1版本中引入的行為更改。2025年8月，Isaac Lab 2.2版本正式發布，進行了模擬能力、工具和開發者體驗的多項升級，完全兼容Isaac Sim 5.0並向後兼容4.5，升級內容包括增強物理支持、新增GR1模仿學習環境、集成FORGE和AutoMate接觸密集型操作任務、增強遙操作工具以及性能與可用性改進。2025年10月，發布了Isaac Lab 2.3早期開發者預覽版，增加了全身控制、遙操作、靈巧操作等功能，並新增對NVIDIA GB10 Grace Blackwell晶片的支持，同年9月，NVIDIA宣布開源物理引擎Newton可在Isaac Lab中使用。2026年1月，在CES 2026上，NVIDIA與光輪智慧型聯合發布了用於策略評估的開源框架Isaac Lab-Arena。2026年3月，在GTC大會上發布了Isaac Lab 3.0搶先體驗版，該版本基於全新Newton物理引擎1.0與PhysX SDK，增加了多物理場仿真功能，並加強了對複雜靈巧操作場景的支持。Isaac Lab的前身為NVIDIA Isaac Gym。
核心技術
NVIDIA Isaac Lab是一個基於NVIDIA Omniverse平台和Isaac Sim構建的開源、統一、模組化機器人學習框架。該框架利用通用場景描述（USD）技術進行高保真機器人與環境建模。
框架內部採用模組化、可組合的設計，將機器人學習分解為基礎模組（如資產、感測器、執行器、控制器、任務框架），支持構建複雜且可擴展的任務。
Isaac Lab的核心仿真引擎採用GPU原生加速，並利用PyTorch分散式框架支持多GPU、多節點的大規模並行訓練。該框架通過Omniverse Fabric集成，實現更快的場景載入速度、更高效的物理仿真和感測器數據收集執行，支持Stage in Memory和Cloning in Fabric以加速場景創建。其集成了GPU加速的NVIDIA PhysX物理引擎，提供快速、準確的剛體、鉸接體和可變形物體仿真。Isaac Lab還提供了張量化吸盤夾具（Surface Gripper）模型，用於模擬柔性、動態的抓取，這對準確的強化學習和操作任務至關重要。Isaac Lab支持高級物理特性，如使用最新PhysX API更新關節摩擦建模、新增空間肌腱支持，以提升仿真準確性。
在渲染與感知方面，Isaac Lab採用平鋪渲染（Tiled Rendering）技術，將多個攝像頭輸出的圖像合併渲染為一張大圖，以提升視覺仿真的效率和規模化能力。
在Isaac Lab 2.0及後續版本中，平鋪渲染速度提升高達1.2倍，並採用TiledCamera組件將多個並行仿真的相機輸出合併為一張大圖像，以進一步提升渲染效率和規模化能力。
該框架同時支持強化學習和模仿學習兩種主流機器人學習範式。Isaac Lab與NVIDIA Isaac GR00T-Mimic模型集成，增強合成運動數據生成，用於模仿學習，特別是在人形機器人環境中。為提升訓練策略的魯棒性和向現實世界遷移的能力，Isaac Lab集成了域隨機化（Domain Randomization）技術。其高級版本還引入了自動域隨機化(ADR)和群體訓練(PBT)等技術以提升訓練可擴展性。
Isaac Lab集成了可微分的GPU加速Newton物理引擎，並在v3.0版本中引入了Cosmos統一世界基礎模型。
運營模式
Isaac Lab是一個開源框架，其原始碼可在GitHub獲取，並通過Python包管理器簡化安裝流程。該框架以容器形式提供，支持在不同系統間無縫遷移工作負載，無需依賴底層環境。
Isaac Lab是一款基於Isaac Sim平台構建的開源輕量級參考套用，專為大規模機器人學習最佳化。它專注於機器人學習中的強化學習等功能，提供了相關的API和實例來簡化工作流。用戶可通過isaaclab.sh腳本執行不同的仿真和訓練任務，並支持WebRTC直播功能，用戶可通過指定IP進行客戶端連線。
Isaac Lab擁有活躍的開發者與研究者社區生態。帕西尼感知將自研的觸覺仿真器集成至NVIDIA Isaac平台。銀河通用基於Isaac Lab構建了大規模抓握數據集DexGraspNet。堅米智慧型基於Isaac Lab平台自主開發了仿真訓練模型。Wheeled Lab項目與Isaac Lab相結合，使強化學習模型能夠訓練輪式機器人執行複雜任務。Lightwheel基於NVIDIA Isaac Lab構建物理仿真框架。包括1X、波士頓動力、Agility Robotics、Figure等在內的眾多機器人開發商和研究機構正在採用Isaac Lab。
Isaac Lab 2.2版本可作為Launchable套用在NVIDIA Brev等平台上使用。
核心團隊
Isaac Lab 是NVIDIA開發的開源機器人學習框架。在開發過程中，NVIDIA 與光輪智慧型共同開發了建立在 Isaac Lab 之上的開源框架 Isaac Lab-Arena，該框架專為仿真環境中實現高效、可擴展的機器人策略評估而設計。
重要事件
2024年3月18日，在英偉達GTC發布會上，英偉達宣布全面升級其Isaac Lab，以加強GR00T模型的端到端網路套用的合作開發和訓練效率。新的Isaac Lab是一個GPU加速、性能最佳化的輕量級套用，基於Isaac Sim構建，專門用於運行數千個用於機器人學習的並行仿真。
2024年7月29日，在SIGGRAPH 2024大會上，英偉達推出Isaac Lab，它是一個用於機器人學習的開源模組化框架，可以解決傳統訓練方法對機器人學習技能的限制。Isaac Lab為不同的訓練環境提供模組化的高保真模擬，提供物理AI功能和GPU驅動的物理模擬，並支持模仿學習和強化學習，為任何機器人實現提供靈活的訓練方法。
2025年1月，在CES 2025上，NVIDIA宣布即將推出Isaac Lab 2.0版本，帶來性能和可用性提升，包括平鋪渲染速度提升高達1.2倍，以及通過Python包管理器簡化安裝流程，並以容器形式提供以支持跨系統工作負載遷移。
2025年3月6日，Isaac Lab發布了v2.0.2版本。該補丁版本專注於改進執行器配置和修復關鍵bug，同時恢復從v2.0.1版本中無意引入的行為更改。關鍵變化包括引入velocity_limit_sim和effort_limit_sim來區分模擬求解器限制和執行器模型約束，以及添加WebRTC直播支持等。
2025年5月23日，在COMPUTEX 2025上，NVIDIA宣布了Isaac Lab 2.2的更新，包括GR00T N1模型基準測試腳本、增強的合成運動生成、Omniverse Fabric集成以及改進的吸盤夾具建模。Agility Robotics、波士頓動力、傅利葉等公司正在使用Isaac Sim和Isaac Lab。
2025年8月11日，在SIGGRAPH 2025大會上，NVIDIA發布了Isaac Lab 2.2的通用可用版本。該版本帶來了模擬能力、工具和開發者體驗方面的重大升級，包括增強的物理支持、新的模仿學習環境、接觸豐富的操作任務集成、遙操作改進以及性能與可用性最佳化，並完全兼容Isaac Sim 5.0。
2025年9月30日，NVIDIA在機器人學習大會(CoRL)上宣布，開源物理引擎Newton現已可以通過NVIDIA Isaac Lab獲取。基於NVIDIA Omniverse構建的開發者預覽版NVIDIA Isaac Lab 2.3新增了靈巧抓取工作流。
2026年1月，在CES 2026展會上，英偉達與光輪智慧型聯合發布並開源用於策略評估的框架Isaac Lab-Arena。該框架建立在NVIDIA Isaac Lab之上，旨在簡化通用機器人策略的仿真評估。Isaac Lab-Arena的Pre-alpha版本正式上線。
2026年3月17日，在GTC大會上，NVIDIA發布Isaac Lab 3.0搶先體驗版及GR00T N2模型預告，並推出Cosmos 3統一世界基礎模型。該版本基於全新Newton物理引擎1.0與NVIDIA PhysX軟體開發套件，新增了多物理場仿真功能，並強化了對複雜靈巧操作場景的支持。包括1X、智元機器人、Agility、Boston Dynamics、Figure等公司正基於Cosmos、Isaac Sim與Isaac Lab打造下一代人形機器人。CoreWeave正在集成Isaac Lab用於構建機器人學習管線。
