基本介紹
- 外文名：fVDB
- 所屬企業：NVIDIA
- 類別：深度學習框架
簡介,適用場景,主要優勢,
簡介
fVDB是NVIDIA研究團隊研發，已用於為 NVIDIA Research、NVIDIA DRIVE 和 NVIDIA Omniverse項目提供支持，這些項目需要大型複雜現實世界空間的高保真模型。fVDB還將作為 OpenVDB GitHub資源庫的一部分提供。
適用場景
生成式物理 AI（例如現實世界中的自動駕駛汽車和機器人）需要具備“空間智慧型”，即能夠理解 3D 空間並能在 3D 空間中運作。捕獲周圍世界的巨觀細節和超微細節至關重要。不過，將現實轉化為虛擬表示來訓練 AI 非常困難。現實環境的原始數據可以通過多種不同的技術收集，例如神經輻射場（NeRF）和雷射雷達。fVDB 能夠將這些數據轉化為實時渲染、規模龐大的 AI 就緒型環境。
在過去的十年中，OpenVDB 作為在視覺效果行業中廣泛運用的核心技術贏得了多項學術大獎。它的套用領域已從娛樂行業擴展到工業和科學，例如工業設計和機器人開發。
在OpenVDB的賦能下，fVDB能夠基於NanoVDB（GPU 加速的數據結構，有助於實現高效的 3D 仿真）構建 NVIDIA 加速的 AI 運算元。這些運算元包括卷積、池化、注意力機制和格線化，它們都是針對高性能 3D 深度學習套用而構建的。藉助 AI 運算元，企業能夠構建複雜的神經網路以實現空間智慧型，例如大規模點雲重建和 3D 生成式建模。
主要優勢
• 更大：空間規模是以往框架的 4 倍。
• 更快：速度是以往框架的 3.5 倍。
• 可互操作：企業可以充分利用龐大的現實世界數據集。fVDB 能夠根據 VDB 數據集打造全尺寸 3D 環境。支持 AI 且實時渲染，可用於打造具有空間智慧型的物理 AI。
• 更強大：能夠運行的運算元是以往框架的 10 倍。fVDB 通過結合使用以往需要多個深度學習庫的功能，簡化了流程。
fVDB 很快將以 NVIDIA NIM 推理微服務的形式推出。通過三項微服務，企業可以將 fVDB 整合到 OpenUSD 工作流中，以便在用於實時 3D 仿真的協作平台 NVIDIA Omniverse 中生成 AI 就緒型 OpenUSD 幾何體。這三項微服務是：
• fVDB Mesh Generation NIM：生成現實世界的數位化 3D 環境。
• fVDB NeRF-XL NIM：利用 Omniverse Cloud API 和 OpenUSD 生成大規模 NeRF。
• fVDB Physics Super-Res NIM：執行超解析度技術，以便生成基於 OpenUSD 的高解析度物理仿真。
