WorldPlay

WorldPlay是騰訊混元團隊於2025年12月17日發布的實時互動式世界模型,屬於混元世界模型1.5版本的核心部分。該模型支持通過文本或圖片輸入生成可互動的3D世界,用戶能以24 FPS的速度實時控制虛擬相機進行探索,並具備長期幾何一致性的空間記憶能力。

該模型首次開源了涵蓋數據、訓練與流式推理部署的實時世界模型全鏈路框架。其技術依託雙重動作表示、重構上下文記憶等核心創新,並可通過WorldCompass強化學習框架進行後訓練以提升複雜動作的互動準確率。

研發背景,發展歷程,核心技術,核心團隊,

研發背景

世界模型領域長期面臨實時生成速度與長期幾何一致性難以兼顧的技術挑戰,即“速度與記憶”悖論。騰訊混元團隊旨在開發能夠實時互動並保持長期一致性的世界模型,以連線2D穩定性與3D空間多樣性,使AI不僅能“看到世界”還能在其中執行任務。WorldPlay的提出正是為了填補實時互動式世界建模的空白。

發展歷程

2025年7月,騰訊混元團隊發布混元3D世界模型1.0,支持通過文本或單張圖片生成兼容圖形學管線的3D場景。2025年10月,該團隊發布世界模型1.1,支持基於多視圖或視頻生成3D內容。
2025年12月17日,騰訊混元發布並開源混元世界模型1.5 (WorldPlay),該模型具備了實時互動能力,用戶可通過鍵盤、滑鼠或手柄在生成的世界中進行探索。此次開源包含了一套系統的實時世界模型框架,涉及數據、訓練及流式推理部署等環節。
2026年3月10日,騰訊混元團隊開源了面向世界模型的強化學習後訓練框架WorldCompass,相關實驗顯示,該框架對開源世界模型WorldPlay在互動準確率和視覺保真度方面有提升。

核心技術

WorldPlay的核心是一個名為WorldPlay的自回歸擴散模型,它採用Next-Frames-Prediction的視覺自回歸任務進行訓練,旨在實現長範圍幾何一致性的實時互動式世界建模。該模型提出了一種結合離散鍵盤輸入和連續攝像機姿態的雙重動作表示方法,既實現了對用戶輸入的魯棒控制,又提供了精確的空間位置信息。
為了解決長期幾何一致性的挑戰,WorldPlay引入了重構上下文記憶機制,它動態地從歷史幀中重建上下文。同時,時間重構技術動態地為所有上下文幀重新分配位置編碼,使其與當前幀保持固定的、小的相對距離,以維持長期幾何一致性,解決記憶衰減問題。
WorldPlay採用了WorldCompass強化學習後訓練框架,這是一個專門針對長序列自回歸視頻模型最佳化的新型後訓練框架,通過基於3D獎勵的強化學習,直接提升了模型的動作跟隨能力和生成畫面的視覺質量。實驗表明,該框架能顯著提升複雜組合動作下的互動準確率與視覺保真度。
模型還採用了情境強迫蒸餾方法,旨在解決記憶體感知模型在實時生成中常見的誤差累積和分布不匹配問題。該方法通過對齊教師模型和學生模型之間的記憶上下文,在確保生成速度的同時,保持了模型利用長遠歷史信息的能力,從而有效抑制誤差累積。
模型在一個大規模、多樣化的數據集上訓練,包含約32萬(320K)高質量視頻片段,數據來源包括3A遊戲、真實世界的3D場景、合成4D數據以及自然動態視頻。

核心團隊

WorldPlay由騰訊混元團隊研發。根據其技術論文《WorldPlay: Towards Long-Term Geometric Consistency for Real-Time Interactive World Modeling》,該項目的核心研究人員包括Wenqiang Sun、Haiyu Zhang、Haoyuan Wang、Junta Wu、Zehan Wang、Zhenwei Wang、Yunhong Wang、Jun Zhang、Tengfei Wang、Chunchao Guo等。

相關詞條

熱門詞條

聯絡我們