MindVLA是理想汽車自主研發的下一代自動駕駛技術,屬於VLA模型,它成功整合了空間智慧型、語言智慧型和行為智慧型。
2025年3月18日,理想汽車發布下一代自動駕駛架構MindVLA。3月21日,理想汽車官方表示,MindVLA 大模型預計在2025年7月份首發。
基本介紹
- 中文名:MindVLA
- 屬性:機器人大模型
發展歷程,功能簡介,
發展歷程
2025年3月18日,理想汽車發布下一代自動駕駛架構MindVLA。
2025年3月21日,理想汽車官方表示,MindVLA 大模型預計在2025年7月份首發。
功能簡介
MindVLA打破自動駕駛技術框架設計的傳統模式,使用能夠承載豐富語義,且具備出色多粒度、多尺度3D幾何表達能力的3D高斯(3D Gaussian)這一優良的中間表征,充分利用海量數據進行自監督訓練,極大提升了下游任務性能。
MindVLA採取小詞表結合投機推理,以及創新性地套用並行解碼技術,進一步提升了實時推理的速度。實現了模型參數規模與實時推理性能之間的平衡。MindVLA利用Diffusion將Action Token解碼成最佳化的軌跡,並通過自車行為生成和他車軌跡預測的聯合建模,提升在複雜交通環境中的博弈能力。同時Diffusion可以根據外部條件,例如風格指令,動態調整生成結果。為了解決Diffusion模型效率低的問題,MindVLA採用Ordinary Differential Equation(常微分方程)採樣器,實現了2-3步就能完成高質量軌跡的生成。面對部分長尾場景,理想建立起人類偏好數據集,並且創新性地套用RLHF(基於人類反饋的強化學習)微調模型的採樣過程,最終使MindVLA能夠學習和對齊人類駕駛行為,顯著提升安全下限。
MindVLA基於自研的重建+生成雲端統一世界模型,深度融合重建模型的三維場景還原能力與生成模型的新視角補全,以及未見視角預測能力,構建接近真實世界的仿真環境。實現了基於仿真環境的大規模閉環強化學習,即真正意義上的從“錯誤中學習”。
