基本介紹
- 外文名：Matrix-Game
- 發布方：崑崙萬維
產品訓練,產品突破,
產品訓練
模型通過兩階段訓練(無標籤預訓練+標註數據可控訓練)和Matrix-Game-MC數據集訓練，結合獨特的圖像到世界建模架構，實現了高精度的動作回響和場景泛化。
在2026年3月發布的Matrix-Game 3.0版本中，其訓練和構建在數據、模型、推理三個層面完成了全新技術升級。數據層面，基於Unreal Engine構建了大規模數據引擎，能夠自動生成帶有精確動作、相機位姿以及物理一致性的高質量互動數據，已覆蓋1000+場景，並按照5s時序間隔為所有數據生成了局部描述和全局描述。該數據引擎採用雙管線並行架構：一條管線基於Unreal Engine 5自動生成覆蓋1000+場景的高精度互動數據，強化學習驅動的AI Agent在場景中自主探索，每一幀都同步記錄視頻、6-DoF相機位姿和操作指令，實現毫秒級對齊；另一條管線則從3A遊戲中全自動提取動態互動數據，實現TB級數據的7×24小時無人值守持續產出。模型層面，設計了帶有Memory機制的DiT架構，使模型能夠維護歷史信息，實現分鐘級的穩定生成與記憶能力。具體而言，模型從三個維度進行了系統性升級：一是記憶注入機制，模型在生成當前畫面時，會根據相機位姿檢索出更早期的“記憶幀”，只取與當前視角相關的內容進行聯合建模；二是Error Buffer抗漂移機制，在訓練時顯式建模生成結果與真實幀之間的誤差，並將誤差作為條件重新注入，使模型學會自我糾正；三是通過多段自回歸蒸餾框架、模型量化和VAE解碼器蒸餾等技術進行蒸餾加速，以最佳化推理效率。推理層面，通過少步採樣、並行生成以及快取機制（KV Cache）和decoder蒸餾等最佳化，實現了高效的實時推理能力，在5B模型規模下達到720P解析度、最高40FPS的實時生成。這使得5B輕量模型在保持分鐘級長時序一致性的同時，實現了720P、40FPS的實時生成。此外，更大的MoE-28B模型為第一人稱和第三人稱分別訓練獨立的動作模型，共享同一個視覺細節模型，可生成時長約60秒。
產品突破
Matrix-Game 3.0在模型架構和推理最佳化方面有所進展，實現了長時序生成的一致性和分鐘級的穩定生成能力，在5B模型規模下達到720P解析度、最高40FPS的實時生成。
Matrix-Game 3.0通過構建大規模數據引擎和設計帶有Memory機制的DiT架構，解決了前代模型的記憶問題，實現了長時序生成的一致性。
該技術適用於遊戲開發，並可與其他AI產品結合，拓展至影視、廣告、XR等內容生產領域。
