Solaris(謝賽寧團隊發布的全球首個多人視頻世界模型)

Solaris是由謝賽寧團隊發布的全球首個多人視頻世界模型，於2026年3月發布。該模型基於崑崙天工2025年8月開源的Matrix-Game2.0技術底座，在《我的世界》中驗證了多玩家協同感知能力，由紐約大學主導的研究團隊開發。

該模型的核心創新在於同時理解和預測多個玩家的視角，通過引入多人自注意力層實現高效信息交換。訓練使用SolarisEngine數據收集系統收集超過1200萬幀畫面，採用四階段流程：單人強化訓練、引入多人場景、因果關係建模和自我強化訓練。測試包括運動能力、定位能力、記憶能力、建造能力和一致性測試，套用領域涵蓋遊戲開發、教育培訓和機器人技術。

基本介紹

• 中文名：Solaris
• 外文名：Solaris
• 出處：謝賽寧團隊

研發背景

Solaris是由謝賽寧團隊發布的全球首個多人視頻世界模型，於2026年3月發布。該模型旨在突破主流世界模型僅支持單玩家視角的限制，實現跨玩家視角的空間一致性，例如當一名玩家在《我的世界》中放置方塊或移動時，另一名玩家視角能實時、準確地呈現對應變化。其技術淵源基於崑崙天工於2025年8月開源的通用場景實時長序列互動式生成世界模型Matrix-Game 2.0。

發展歷程

2026年3月11日，謝賽寧團隊發布多人視頻世界模型Solaris。該模型以崑崙天工開源的通用場景實時長序列互動式生成世界模型Matrix-Game 2.0為技術底座，成功在《我的世界》(Minecraft)中驗證了多玩家協同感知能力。

核心技術

Solaris基於崑崙天工於2025年8月開源的通用場景實時長序列互動式生成世界模型Matrix-Game 2.0（一個單人視頻DiT模型）構建。為支持多人模式，研究團隊沿用了其預訓練權重和凍結的VAE，並進行了三項關鍵改進：首先，擴展了動作空間以涵蓋來自VPT的全量Minecraft輸入；其次，引入了多人自注意力層，將所有玩家的Token進行拼接並互相對照，使得信息可以在每個DiT模組內部實現玩家間的交換；第三，對每名玩家獨立套用3D RoPE，並添加了可學習的玩家ID嵌入，以便模型區分不同個體。

團隊自主研發了多人數據採集系統SolarisEngine，用於在《我的世界》等遊戲中協調多智慧型體互動和同步視覺捕捉。利用該系統構建了包含1260萬幀、9240個任務回合的多人Minecraft訓練數據集，任務涵蓋建築、戰鬥、移動、採礦等類別。訓練採用四階段漸進式訓練流程，並創新性地使用了Checkpointed Self Forcing訓練範式以緩解長序列建模中的顯存壓力與誤差累積問題。

研究團隊創建了Solaris Eval數據集，通過7個獨特的任務回合測試移動、定位、一致性、記憶、建造五種多人協作能力。在建築一致性與玩家視覺對齊等複雜互動場景中，其表現顯著優於此前業內唯一的多人方案Multiverse。

運營模式

Solaris是一個開源項目，其項目資源包括官方網站、GitHub開源倉庫、HuggingFace模型中心和arXiv技術論文。該項目基於崑崙天工開源的通用場景實時長序列互動式生成世界模型 Matrix-Game 2.0進行持續演進。