理想VLA

理想VLA（Vision-Language-Action Model，視覺語言行動模型）是理想研發的司機AI大模型。

2025年5月7日，“理想AI Talk第二季——理想VLA司機大模型，從動物進化到人類”活動舉辦。理想汽車董事長兼CEO李想在活動中分享了對人工智慧的前沿思考，深入解讀了VLA司機大模型的關鍵作用、創新訓練方法、面臨的挑戰，以及對創業和個人成長的見解。

基本介紹

• 中文名：理想VLA
• 所屬公司 ：理想

科技介紹

VLA（Vision-Language-Action Model，視覺語言行動模型）的誕生標誌著AI在自動駕駛領域的重大突破，它使得AI能夠真正成為司機，成為交通領域的專業生產工具。

它能夠通過3D和2D視覺的完美組合，全面、完整地感知物理世界，這與VLM僅能解析2D圖像形成了鮮明對比。VLA還擁有一套完整的腦系統，具備強大的語言能力和CoT（Chain of Thought，思維鏈）推理能力，不僅能夠精準地感知周圍環境，還能深入理解交通規則和人類意圖，並真正地執行各種駕駛行動，其運作方式與人類高度相似，展現出了高度的智慧型和適應性。

VLA司機大模型以“司機Agent（智慧型體）”的創新產品形態呈現，用戶可以通過自然語言與司機Agent輕鬆溝通，就像與人類司機交流一樣便捷自然。簡單通用的短指令可由端側的VLA直接處理，快速回響；複雜指令則先由雲端的VL基座模型進行深入解析，再交由VLA進行精準處理，確保用戶的每一個指令都能得到準確、高效的執行。VLA司機大模型通過先進的訓練技術和算法，顯著提升了專業能力；超級對齊團隊的努力則增強了其職業能力；VLA通過對自然語言的精準理解和具備的記憶能力，有效提升了構建信任的能力，讓用戶能夠放心地將駕駛任務交給它。

發展歷史

第一階段，自2021年起，理想汽車自主研發的輔助駕駛系統依賴規則算法和高精地圖，這一階段的智慧型水平類似於“昆蟲動物智慧型”。它如同昆蟲遵循本能和既定規則行動一樣，雖然能夠在一定程度上完成任務，但對環境的理解和適應能力相對有限。規則算法如同昆蟲簡單的神經系統，只能處理相對簡單和固定的情況，面對複雜多變的交通環境，往往顯得力不從心。

第二階段，從2023年開始研究，並於2024年正式推送的端到端 +VLM（Vision Language Model，視覺語言模型）輔助駕駛，已經接近“哺乳動物智慧型”。端到端模型通過學習人類的駕駛行為，能夠在大多數常見的交通場景中應對自如，就像哺乳動物通過觀察和模仿來學習生存技能一樣。但在處理複雜問題時，它仍然存在明顯的局限，例如在面對從未遇到過的特殊路況或突發情況時，可能會出現決策困難或錯誤。儘管可以藉助VLM視覺語言模型提供一定的輔助，但由於VLM使用的是開源模型，在交通領域的專業能力受到很大限制，同時端到端模型在與人類溝通方面也存在障礙，無法準確理解和執行人類的指令。

2024年底，理想汽車組建了超過100人的超級對齊團隊，這個團隊就像是為司機Agent注入了專業的職業素養，從多個維度對模型進行約束和最佳化。在法規常識方面，確保模型嚴格避免實線變道、闖紅燈等危險錯誤行為；在行為一致性方面，保證模型在安全、舒適和與人的駕駛習慣一致性上達到高標準，無論是加減速的平穩性，還是轉彎、變道的合理性，都能讓用戶感受到如同人類司機駕駛般的安心和舒適；在技術安全一致性方面，全力避免車輛被遠程惡意入侵操作，同時在惡劣天氣等特殊情況下，能夠及時、準確地向用戶反饋感測器的狀態，確保駕駛安全。

2025年5月7日，“理想AI Talk第二季——理想VLA司機大模型，從動物進化到人類”活動舉辦。理想汽車董事長兼CEO李想在活動中分享了對人工智慧的前沿思考，深入解讀了VLA司機大模型的關鍵作用、創新訓練方法、面臨的挑戰，以及對創業和個人成長的見解。

訓練過程

VLA的訓練過程如同人類學習駕駛技能一樣，分為預訓練、後訓練和強化訓練三個緊密相連的環節，每個環節都模擬了人類學習駕駛的不同階段，確保模型能夠為用戶帶來卓越的舒適性和安全性體驗。

預訓練環節，就像是人類學習物理世界和交通領域的基礎知識和常識。在這個階段，模型通過海量的高清2D和3D Vision（視覺）數據、豐富的交通相關的Language（語言）語料，以及與物理世界相關的VL（Vision Language，視覺和語言）聯合數據進行深度訓練，從而構建出雲端的VL基座模型。隨後，通過蒸餾技術將其轉化為在車端高效運行的端側模型，為後續的學習和套用奠定堅實基礎。

後訓練環節，則類似於人類進入駕校進行專業的駕駛學習。隨著Action（動作）數據的融入，即對周圍環境和自車駕駛行為的精確編碼，VL基座模型逐漸演變為VLA司機大模型。得益於短鏈條的CoT，以及Diffusion擴散模型對他車軌跡和環境的精準預測，VLA具備了出色的實時性特點，能夠在複雜多變的交通環境中靈活應對，實現高效的博弈能力，就像一個熟練的駕駛員能夠根據路況做出及時、準確的判斷和決策。

強化訓練環節，類似於人類在社會中實際開車練習，不斷積累經驗、提升技能。其目標是讓VLA司機大模型更加安全、舒適，與人類價值觀高度對齊，甚至在某些方面超越人類駕駛水平。強化訓練包含兩部分：一是通過RLHF（Reinforcement Learning from Human Feedback，基於人類反饋的強化學習）完成安全對齊，使模型嚴格遵守交通規則，充分貼合中國用戶的獨特駕駛習慣；二是將純強化學習模型放入世界模型中進行訓練，進一步提升舒適性，有效避免碰撞事故，始終遵守交通規則。經過這一系列嚴謹、科學的訓練過程後，VLA司機大模型即可部署至車端，為用戶提供安全、智慧型的駕駛服務。

為了解決模型的黑盒問題，理想汽車創新性地結合重建和生成兩種路徑，打造了真實、符合物理世界規律的世界模型。這個世界模型涵蓋了所有交通參與者和要素，就像一個虛擬的真實交通世界。基於世界模型強大的仿真能力，VLA可以在這個虛擬環境中低成本、準確地驗證現實問題，大大提升了解決問題的效率，有效應對了模型黑盒帶來的諸多挑戰。通過在世界模型中進行大量的模擬測試和最佳化，VLA能夠不斷改進自身的決策和行為，確保在實際駕駛中的安全性和可靠性。

現實意義

理想汽車的VLA司機大模型不僅是技術上的重大突破，更是對未來交通和人工智慧發展的一次深刻探索。隨著這一模型的不斷完善和套用，我們有理由期待它將為人們的出行帶來更加安全、智慧型、便捷的體驗，推動整個行業邁向新的高度。