3D ViT是理想汽車開發的三維視覺編碼器技術。2026年3月17日，在NVIDIA GTC 2026大會上，理想汽車發布了下一代自動駕駛基礎模型MindVLA-o1，並介紹了其原生3D ViT技術。
該技術摒棄了從二維圖像還原三維信息的傳統路徑，讓模型原生工作在三維世界中。它以高解析度多視角視覺為核心，在編碼階段直接完成對空間幾何與語義信息的統一理解，其感知與推理範圍可達500米以上。為此研發了專用晶片以提供算力支持。3D ViT為MindVLA-o1模型提供了三維空間理解的基礎。
發展歷史,技術原理,技術優勢,套用與意義,
發展歷史
2026年3月17日，在NVIDIA GTC 2026大會上，理想汽車基座模型負責人詹錕發布了下一代自動駕駛基礎模型MindVLA-o1，其核心技術為原生3D ViT（三維視覺編碼器），該突破由CEO李想介紹。
在2025年，行業首創的3D ViT三維空間感知技術已套用於全新一代理想L9 Livis，完成了從2D到3D立體感知的技術重構。
技術原理
3D ViT（三維視覺Transformer）是理想汽車開發的一種原生三維視覺編碼器技術。其核心設計理念是讓模型直接工作在真實的三維世界，而非從2D圖像“還原”3D信息。它以高解析度多視角視覺為核心輸入，在編碼階段一次性完成對3D空間幾何（包括空間結構、位置關係）和語義信息的統一理解與建模。
在技術實現上，3D ViT的輸入不再是單張圖像，而是連續的視頻流片段（Clips）。其基本處理單元（Token）是一個“時空管”——它既包含了物體在空間上的位置，也包含了其在時間軸上的變化。這意味著3D ViT原生支持處理連續視頻流，實現了對三維時空信息的直接建模。
3D ViT採用以視覺為核心的感知架構，同時融合雷射雷達點雲作為三維幾何提示。這種融合機制引導模型理解真實的空間結構，使其在單一表示中同時具備精準的三維幾何感知與豐富的語義理解能力。
在訓練過程中，3D ViT引入了前饋式3D高斯潑濺（3DGS）表示，用於對場景中的靜態和動態元素分別進行建模。通過自監督學習，模型能夠實現對未來場景狀態的預測，從而為決策輸出高質量的3D世界表征。
與傳統的BEV（鳥瞰圖）方案易丟失高度信息、占用網路（OCC）缺少語義理解不同，3D ViT能夠完整保留三維結構併疊加語義信息。與通過2D ViT提取特徵後再通過時間融合模組進行處理的“混合架構”相比，3D ViT是原生支持處理連續視頻流的“原生3D”架構。其本質區別在於前者是“先看圖，再腦補動畫”，而後者是“天生就在看電影”。
技術優勢
3D ViT並非簡單的技術升級，而是對自動駕駛感知邏輯的重構。相較於傳統BEV方案將場景壓縮為俯視圖而丟失關鍵高度信息，3D ViT能夠更完整保留三維結構。相較於OCC占用網路雖為3D架構但缺乏核心語義信息、無法判斷物體可碰撞屬性的問題，3D ViT能在單一表示中同時具備三維感知與語義理解能力。在統一建模下，3D ViT能夠穩定感知並推理到500米以上的空間範圍。該技術實現了更精細的場景理解，例如判斷行人是在等車還是準備橫穿馬路，分辨障礙物是泡沫箱還是石墩。3D ViT改變了雷射雷達的角色，使其從感知核心轉變為提供幾何標定和近場空間約束的“高精度尺子”，感知上限取決於模型表征能力而非感測器物理線數。
套用與意義
在自動駕駛基礎模型中，3D ViT作為一項關鍵技術，被用於實現空間理解、思考推理與駕駛行為的統一。
3D ViT技術有助於模型對三維物理世界的理解。
基於3D ViT構建的視覺語言-動作基座模型，其能力可擴展至機器人控制等領域。
