物理AI

物理 AI 是指使用運動技能理解現實世界並與之進行互動的模型，它們通常封裝在機器人或自動駕駛汽車等自主機器中。

簡介

瑞士聯邦材料科學與技術實驗室Aslan Miriyev和倫敦帝國理工學院Mirko Kovač之前在《Nature MachineIntelligence》發表的一篇文章中，曾如此定義“物理AI”：物理AI是指能夠執行通常與智慧型生物體相關的任務的實體系統，可以實現機體、控制、形態、動作執行和感知的協同進化。

NVIDIA創始人兼執行長黃仁勛在COMPUTEX 2024上表示：“AI 的新一波浪潮是物理 AI。AI 能夠理解物理定律，並與人類並肩作戰，機器人和物理 AI 正在成為現實”，強調了機器人和人工智慧在未來發展中的重要性。

套用場景

物理 AI 使用先進的仿真和學習方法，能夠幫助機器人和其他工業自動化設備更有效地感知、推理和探索周圍環境。該技術正在改變著製造、醫療健康等行業，並通過能夠更自主、更精確運作的機器人、工廠和倉庫技術、手術 AI 智慧型體和汽車推動智慧型空間的發展。

物理AI的關鍵技術和工具支持

NVIDIA NIM 微服務：

• 具體包括三個 fVDB NIM 微服務，這些微服務支持 NVIDIA 針對 3D 世界開發的全新深度學習框架，此外還包括能夠與通用場景描述 ( OpenUSD) 配合使用的 USD Code、USD Search 和 USD Validate NIM 微服務，能夠協助開發者訓練物理機器，並可讓它們更好地處理複雜任務。NVIDIA OpenUSD NIM 微服務能夠與全球首個用於 OpenUSD 開發的生成式 AI 模型（同樣由 NVIDIA 開發）搭配使用，使開發者能夠將生成式 AI copilot 和智慧型體納入到 USD 工作流程，並拓寬 3D 世界的可能性。

• 藉助 NVIDIA NIM，視覺 AI 智慧型體被轉變為具有遠見的系統。這些智慧型體使用計算機視覺功能來感知物理世界、與其互動並執行推理任務。具有高度感知和互動能力的視覺 AI 智慧型體由一種被稱為視覺語言模型 (VLM) 的新型生成式 AI 模型提供支持。VLM 模型能夠在物理 AI 工作負載中連通數字感知和現實互動，從而增強決策能力、準確性、互動性和性能。藉助 VLM，開發者可以打造視覺 AI 智慧型體，使其即使在非常複雜的環境中也能更有效地處理極具挑戰性的任務。由生成式 AI 賦能的視覺 AI 智慧型體正在迅速部署到醫院、工廠、倉庫、零售店、機場、交通路口等場所。

NVIDIA Metropolis 參考工作流:

• Metropolis是一組開發者工作流程和工具，用於在所有類型的硬體上構建、部署和擴展生成式AI套用，可讓用戶通過簡單的結構化方法來定製、打造和部署視覺 AI 智慧型體。

NVIDIA Omniverse Cloud Sensor RTX：

• Omniverse Cloud Sensor RTX 基於 OpenUSD 框架構建，並由 NVIDIA RTX™ 光線追蹤和神經渲染技術賦能。它可以將來自視頻、攝像頭、雷達和雷射雷達的現實世界數據與合成數據相結合，以此加速模擬環境的創建。即使在現實世界數據有限的情況下，這套微服務也可用於模擬各種活動，例如機械臂是否正常運作、機場行李傳送帶是否正常運行、樹枝是否擋住道路、工廠傳送帶是否在運行、機器人或人類是否在附近等。

套用案例

Foxconn與和碩採用了物理 AI、NIM 微服務和 Metropolis 參考工作流，以便更高效地設計和開展批量製造運營。這些公司正在仿真環境中建設虛擬工廠，來節省大量時間和成本。他們還會在實際部署之前在數字孿生中對其物理 AI（包括 AI 多攝像頭和視覺 AI 智慧型體）進行更全面的測試和最佳化，以便提高工人安全性和運營效率。