OpenVLA是一個於2025年推出的7億參數開源視覺-語言-動作模型，由斯坦福和伯克利等機構的團隊開發。
該模型基於Llama 2大語言模型骨幹，採用DINOv2與SigLIP雙視覺編碼器的架構，在Open X-Embodiment數據集的97萬條機器人軌跡上進行預訓練。2024年6月，OpenVLA在29項機器人操作任務中的成功率比谷歌DeepMind的RT-2-X高出16.5%。在2025年，該模型在通用操控基準測試中取得當前最優結果，隨後團隊公開了其PyTorch訓練流程，推出了70億參數的開源模型，並發布了針對駕駛場景的功能模組，增加了對語音互動與路況語義理解的支持，同時在異形障礙物識別與動態規則理解方面得到加強，提出了端到端的感知-決策閉環架構。團隊開源了模型代碼與權重，其支持LoRA微調與量化部署的版本可在消費級GPU上快速適配各種任務。
基本介紹
- 外文名： OpenVLA
- 最近更新時間：2025年6月21日
- 時間：2025年
簡介,技術特點與架構,發展歷史,性能與影響,團隊與歸屬,
簡介
OpenVLA是一個7億參數的開源視覺-語言-動作(VLA)模型，於2025年推出。該模型基於Llama 2大語言模型骨幹和DINOv2視覺編碼器，在Open X-Embodiment數據集上的970k機器人劇集進行預訓練，設定了通用機器人操作策略的新行業標準。
多模態任務執行：融合視覺語言指令生成機器人動作。
高效微調適配：支持LoRA量化技術快速適應新任務。
開源模型架構：基於Llama2與DINOv2的透明框架。
跨形態泛化：支持多種機器人平台任務遷移。
零樣本學習：減少對標記數據的強依賴。
技術特點與架構
OpenVLA採用雙視覺編碼器加大語言模型的核心架構。其中DINOv2視覺編碼器負責理解空間關係，SigLIP視覺編碼器負責理解語義和常識，再由Llama 2大語言模型進行信息融合與決策。相較於谷歌RT-2-X的單視覺編碼器架構，該雙編碼器設計實現了信息處理的物理隔離與各自最佳化。OpenVLA在動作表示方式和訓練策略上進行了最佳化。該模型基於Open X-Embodiment數據集，在97萬個真實機器人示教數據集上完成了預訓練。
在29項機器人操作任務中，OpenVLA的成功率比RT-2-X高出16.5%。OpenVLA支持LoRA微調與量化部署，可在消費級GPU上快速適配各種任務。
然而，作為端到端VLA模型的典型代表，OpenVLA嚴重依賴海量的“指令-視覺-動作”成對數據進行訓練，獲取成本極高，這導致其在面對未經訓練的新任務或新場景時，零樣本泛化能力受到限制。例如，在嚴格的零樣本設定下，OpenVLA在RLBench等基準測試中的表現顯著受限，甚至可能完全失敗。
發展歷史
2024年6月，OpenVLA在29項機器人操作任務中的表現優於谷歌DeepMind的RT-2-X模型，其代碼、模型權重和訓練腳本隨後被開源。2025年1月24日，基於97萬條機器人軌跡數據訓練的模型在通用操控基準測試中取得了當前最優結果；3月25日，其PyTorch訓練流程被公開，該流程支持10B至340B參數規模的擴展；4月27日，一個70億參數的開源模型被推出，該模型支持LoRA微調與量化部署；6月1日，發布了針對駕駛場景的功能模組，增加了對語音互動與路況語義理解的支持；6月20日，模型在異形障礙物識別與動態規則理解方面得到加強；6月21日，提出了一個端到端的感知-決策閉環架構。
性能與影響
OpenVLA以70億參數在29項機器人操作任務中擊敗了550億參數的RT-2-X，成功率高出16.5%。然而，後續研究（如Goal-VLA）在嚴格的零樣本機器人操作測試中表明，嚴重依賴“指令-視覺-動作”成對數據進行訓練的端到端模型（如OpenVLA）在未經過微調時，其零樣本泛化能力存在局限，面對新任務或新場景時表現不佳。其架構融合了DINOv2和SigLIP視覺編碼器，並由Llama 2大語言模型進行信息融合與決策，得益於在Open X-Embodiment數據集上的預訓練。
OpenVLA採取了徹底的開源策略，代碼、模型權重、訓練腳本全部公開，激發了後續的最佳化、推理加速和微調工作，成為開源機器人領域的典型成功案例。例如DB-OFT基於OpenVLA實現了進一步的性能提升，絕對性能提升達46.2%。
