發展歷史
2025年8月12日,崑崙萬維正式開源兩款世界模型:“Matrix-Game 2.0”與“Matrix-3D”。
簡介
Matrix-Game 2.0
“Matrix-Game 2.0”是崑崙萬維自研世界模型Matrix系列中Matrix-Game互動世界模型的升級版本。同樣實現了通用場景下的互動式實時長序列生成的世界模型。並且為促進互動式世界模型領域的發展,“Matrix-Game 2.0”全面開源,是業內首個在通用場景上實現實時長序列互動式生成的世界模型開源方案。
“Matrix-Game 2.0”在實時生成和長序列能力上實現了質的飛躍。相較於上一版本,2.0版本更加側重低延遲、高幀率的長序列互動性能,能夠以25 FPS的速度,在多種複雜場景中穩定生成連續視頻內容,且生成時長可擴展至分鐘級,大幅提升了連貫性與實用性。
在推理速度顯著提升的同時,模型依然保持了對物理規律與場景語義的精準理解,支持用戶通過簡單指令,自由探索、操控並實時構建結構清晰、細節豐富、規則合理的虛擬環境。
這使得“Matrix-Game 2.0”不僅打破了內容生成與互動之間的壁壘,也為虛擬人、遊戲引擎、具身智慧型等前沿套用打開了新的可能,為構建通用虛擬世界提供了強有力的技術基座。
核心優勢
1.高幀率實時互動長序列生成:支持前後左右移動和視角轉動,用戶可通過指令操控角色在場景中自由行動,系統以 25 FPS 實時生成連續畫面,單次互動可生成分鐘級別長互動視頻,動作自然流暢,回響精準。
2.多場景泛化能力:模型具備出色的跨域適應性,不僅適用於特定任務場景,還支持多種風格與環境的模擬,包括城市、野外等空間類型,以及真實、油畫等視覺風格。
3.增強的物理一致性:對物理規則的理解進一步提升,角色在面對台階、障礙物等複雜地形時,能夠展現出符合物理邏輯的運動行為,提升沉浸感與可控性。
Matrix-3D
“Matrix-3D”用於3D世界的生成與探索。它從單圖像出發,生成高質量、軌跡一致的全景視頻,並直接還原可漫遊的三維空間,對標李飛飛WorldLabs的生成效果,可實現更大範圍的探索空間。
Matrix-3D通過引入全景表示、條件視頻生成與3D重建模組,突破了現有方法在視角範圍、幾何一致性和視覺質量上的限制。Matrix-3D同時支持文本、圖像作為輸入,生成的3D場景支持自由探索。
價值意義
崑崙萬維“可互動視頻生成大模型Matrix-Game”與“3D世界生成與探索模型Matrix-3D”的開源,代表了公司對未來AI技術的提前布局,也將進一步賦能公司AI多矩陣產品的開發。