Ctrl-World（全稱：CTRL-WORLD: A CONTROLLABLE GENERATIVE WORLD MODEL FOR ROBOT MANIPULATION）是由清華大學陳建宇團隊與史丹福大學Chelsea Finn團隊聯合提出的可控生成世界模型。該模型的核心目標是構建一個能精準模擬、可長期穩定、與真實環境對齊的機器人虛擬訓練空間，讓機器人在虛擬環境中進行任務預演、策略評估與自我疊代。在2026年2月26日發布的具身智慧型評測WorldArena榜單中，Ctrl-World在具身任務能力上排名首位，在主體一致性、軌跡精度、深度準確性、策略評估一致性四項核心維度上均排名第一，其視頻生成能力在該榜單中排名第二。
該模型基於包含9.5萬條軌跡的DROID數據集訓練，通過多視角聯合預測、幀級動作控制與姿態條件記憶檢索等技術，能夠生成超過20秒的時空一致軌跡。其使用零真機數據即可將下游任務的指令跟隨成功率從38.7%提升至83.4%。相關論文《CTRL-WORLD: A CONTROLLABLE GENERATIVE WORLD MODEL FOR ROBOT MANIPULATION》已發布於arXiv平台。
模型定義與背景,技術原理,實驗與性能,局限與展望,
模型定義與背景
CTRL-WORLD（全稱：CTRL-WORLD: A CONTROLLABLE GENERATIVE WORLD MODEL FOR ROBOT MANIPULATION）是由清華大學陳建宇團隊與史丹福大學Chelsea Finn團隊聯合提出的一種可控生成世界模型。該模型的提出背景是，通用型機器人策略在面對不熟悉物體和指令時，其能力的評估與提升面臨重大挑戰，而世界模型提供了一種具有前景且可擴展的替代方案。其核心目標是構建一個“能精準模擬、可長期穩定、與真實對齊”的機器人虛擬訓練空間。該模型的核心功能是讓機器人在“想像空間”中進行任務預演、策略評估與自我疊代。
技術原理
Ctrl-World的設計目標是將被動視頻生成模型轉化為可與VLA策略閉環互動的模擬器。該模型基於預訓練視頻擴散模型初始化，並適配為一個可控且時間一致的世界模型。它的三大核心技術原理包括多視角輸入與聯合預測、幀級動作條件控制以及姿態條件記憶檢索。
多視角輸入與聯合預測旨在解決視野盲區，降低幻覺率，並支持腕部視角等聯合多視角預測。幀級動作條件控制通過綁定動作與視覺因果，實現厘米級操控和細粒度動作控制。姿態條件記憶檢索通過姿態條件化的記憶檢索機制維持長時程動態連貫性，支持超過20秒的預演不漂移，生成時空一致的軌跡。
這三項技術共同將被動視頻生成模型轉化為可與VLA策略閉環互動的模擬器，實現具備一定保真度、可控性和連貫性的虛擬預演，從而擴展了傳統世界模型的能力範圍。
實驗與性能
Ctrl-World在DROID數據集上進行訓練，該數據集包含9.5萬條軌跡、564個場景。實驗在DROID機器人平台上進行，平台包含Panda機械臂、1個腕部相機及多個第三方相機。
在10秒長軌跡生成測試中，Ctrl-World在多項核心指標上表現優於基線模型。模型展現出場景泛化能力，面對訓練中未見過的相機布局能零樣本適配，生成連貫的多視角軌跡。虛擬預演的“指令跟隨率”與真實世界的相關係數達0.87；虛擬“任務成功率”與真實世界的相關係數達0.81。以π0.5為基礎策略，使用400條在想像中合成的成功軌跡進行監督微調後，在陌生場景中任務成功率從38.7%提升至83.4%。
整個策略最佳化過程未消耗真實物理資源，其成本約為傳統依賴專家數據方法的1/20。
2026年2月26日，在具身智慧型領域的評測WorldArena榜單中，Ctrl-World的具身任務能力排名第一，在主體一致性、軌跡精度、深度準確性、策略評估一致性四項核心維度上均位列第一；其視頻生成能力在該榜單中排名第二。WorldArena榜單由清華大學牽頭，聯合普林斯頓大學、新加坡國立大學、北京大學等8所學術機構共同研發，評測體系圍繞“真能幹活”設計，涵蓋16項核心指標和3類真實套用任務，並由70位專業標註者對3500個視頻進行主觀校驗。在具體指標上，Ctrl-World在主體一致性維度得分為0.8411，在軌跡精度維度得分為0.4766，在深度準確性維度得分為0.9300，在策略評估一致性維度的Pearson相關係數為0.986。同期參與評測的模型包括谷歌Veo 3.1、英偉達Cosmos-Predict 2.5等。
局限與展望
Ctrl-World在複雜物理場景適配上存在不足，例如在“液體傾倒”、“高速碰撞”等任務中，虛擬模擬與真實物理規律的偏差主要因模型對重力、摩擦力的建模精度有待提升。此外，模型對初始觀測敏感性高，若第一幀畫面模糊，後續推演誤差會快速累積。
未來，研發團隊計畫從兩方面進行突破，一方面將視頻生成與強化學習結合，讓機器人在虛擬世界自主探索最優策略。另一方面計畫擴大訓練數據集，加入如“廚房油污環境”、“戶外光照變化”等更複雜的場景數據，以提升模型對極端環境的適配能力。
