DriveDreamer

DriveDreamer是由極佳科技發布的面向自動駕駛場景的世界模型系列。2023年9月發布的初版是首個從真實駕駛場景構建的世界模型，能夠根據不同的控制條件生成自動駕駛視頻，並依據文本描述改變生成視頻的天氣、時間等要素。

該系列後續疊代包括引入了大語言模型的DriveDreamer-2，以及專注於利用世界模型生成新軌跡視頻以增強4D駕駛場景重建效果的DriveDreamer4D。系列還包括ReconDreamer、ReconDreamer-RL等版本，屬於以世界模型為核心的新一代仿真技術（Sim2.0）範疇。

基本介紹

• 外文名：DriveDreamer
• 產品類型：世界模型

研發背景

自動駕駛研發麵臨核心數據瓶頸，真實世界駕駛數據存在稀疏、長尾和極端場景難以獲取的問題。傳統仿真方法在生成高真實、可互動數據方面存在性能瓶頸，難以滿足高級別自動駕駛和具身智慧型對海量、高質量訓練數據的需求。

世界模型作為一類解決方案，通過生成式方法學習真實世界的先驗信息，可用於生成數據，被視為一種可能提升仿真數據生成能力的技術方向。

在此背景下，有研究提出利用世界模型整合不同類型的數據與仿真方法，構建數據生成流程的構想。

發展歷程

2023年9月，極佳科技發布DriveDreamer（DD1/DD2），這是一個面向真實駕駛場景的世界模型，能夠根據不同控制條件生成自動駕駛周視視頻，相關技術可套用於提升BEV感知性能，相關成果被ECCV 2024收錄，並被Nvidia邀請作為Oral Presentation，被評為ECCV24最有影響力論文之一。

此後，極佳科技推出DriveDreamer-2，該模型引入大語言模型（LLM），使其能夠生成用戶自定義的駕駛數據，提升了對長尾和極端場景（corner case）的數據生成能力。

2024年10月，極佳科技聯合中國科學院自動化研究所、理想汽車、北京大學、慕尼黑工業大學等單位發布DriveDreamer4D。這是一項利用世界模型增強4D駕駛場景重建效果的工作，通過生成新軌跡視頻以提升重建算法的性能。

在核心的DriveDreamer系列之外，極佳科技還推出了ReconDreamer和ReconDreamer-RL等系列產品。這些產品按照“視頻-3D-可微物理-人類駕駛先驗”的路徑逐層升級，旨在最終形成L-base世界模型，相關技術已套用於汽車行業。

根據2025年的公開信息，極佳科技計畫發布DriveDreamer3，其技術方向包括將Carla、UE、神經渲染、強化學習交通流等技術整合，形成一站式Sim2.0工具鏈，涉及合成數據、變換評測、雲端強化訓練等領域。

DriveDreamer系列是世界模型在物理駕駛場景的套用案例之一，並已開始產業套用，屬於以世界模型為核心的新一代仿真技術（Sim2.0）範疇。

基於DriveDreamer技術的新一代駕駛模擬器已服務超過30家海內外頭部汽車主機廠和自動駕駛公司。

核心技術

DriveDreamer系列技術的核心思想是構建一個從真實世界數據中學習物理和交通先驗的自動駕駛世界模型，通過結合結構化控制條件來生成高真實性、可控且符合規則的駕駛場景。

核心模型與訓練方法

DriveDreamer引入了自動駕駛擴散模型和兩階段訓練流程來構建世界模型。第一階段訓練Auto-DM以深入理解HD地圖、3D邊界框等結構化交通約束；第二階段通過視頻預測建立世界模型。這使得模型能夠根據結構化條件生成高質量、多相機視角一致的駕駛視頻，並預測合理的駕駛策略。

數據生成與增強機制

DriveDreamer4D等工作進一步發展了世界模型作為數據引擎的能力。其核心創新包括新穎軌跡生成模組，用於自動生成複雜且安全的駕駛軌跡。通過利用世界模型先驗，基於真實數據合成新的、多樣化的軌跡視頻，以擴充數據分布，解決數據稀疏性問題。同時採用聯合數據訓練策略，融合真實數據與世界模型生成的數據，共同最佳化下游4D高斯潑濺等重建模型，顯著提升時空一致性。

系列技術演進

DriveDreamer系列技術持續疊代。DriveDreamer/2採用結構化條件擴散模型生成多相機一致視頻；ReconDreamer將重建與生成結合；ReconDreamer-RL在重建世界中進行模仿與強化學習。

技術效果

根據實驗驗證，DriveDreamer4D在提升4D重建效果方面表現顯著。在Waymo數據集的高動態場景中，其在前景車輛時空一致性指標上相比基線方法分別提升了22.6%、43.5%和15.6%；在圖像生成質量指標上，在變道場景下相對最佳化了32.1%、46.4%和16.3%。用戶研究獲得了超過80%的偏好投票。

運營模式

其核心是雲端“進化沙盒”，為自動駕駛或具身智慧型體提供一個高真實、可互動的仿真環境進行訓練與疊代。經過雲端充分驗證和最佳化的模型，將被壓縮後部署到車端。同時，通過相關工具鏈可提供包含數據合成、場景變換評測、雲端強化訓練的服務。商業落地方面，以世界模型為核心的新一代駕駛模擬器在汽車主機廠和自動駕駛公司中有套用。該模式旨在利用世界模型統一真機數據、傳統仿真與神經仿真，使大部分研發疊代在雲端完成。

核心團隊

極佳科技駕駛世界模型算法負責人秦文康在AICC 2025等論壇發表主題演講，闡述了以世界模型為中心的仿真2.0理念，並介紹了DriveDreamer系列產品的技術路徑與產業套用。

極佳科技團隊成員朱政所在團隊的學術成果DriveDreamer入選了ECCV 2024最具影響力論文榜單。

重要事件

2023年9月，極佳科技發布DriveDreamer原型。2024年，DriveDreamer系列工作被國際計算機視覺會議ECCV 2024收錄，其中DriveDreamer工作被Nvidia邀請作為Oral Presentation。2024年10月，極佳科技聯合中國科學院自動化研究所、理想汽車、北京大學、慕尼黑工業大學等單位提出並發布DriveDreamer4D。2026年，極佳視界發布的以世界模型為核心的新一代駕駛模擬器實現產業套用，已服務超過30家海內外的汽車製造商和自動駕駛技術公司。