發展歷史
2025年2月14日,崑崙萬維正式推出 Matrix-Zero世界模型,成為中國第一家同時推出3D場景生成和可互動視頻生成模型的探索空間智慧型的企業。
模型功能
Matrix-Zero世界模型包含兩款子模型:
(1)崑崙萬維自研3D場景生成大模型,支持將用戶輸入的圖片轉化為可自由探索的真實合理的3D場景,比World Labs生成場景的探索範圍更大更自由,而且包括動態物理效果;
(2)崑崙萬維自研可互動視頻生成大模型,提供以用戶輸入為核心驅動的可互動空間智慧型視頻生成方案,支持根據用戶實時輸入生成互動視頻效果,具備更精準控制的action model。
崑崙萬維Matrix-Zero的3D場景生成功能,支持將用戶輸入的圖片轉化為可自由探索的真實合理的3D場景,具備全局一致性、可自由探索、支持不同風格圖片輸入、支持風格遷移、支持動態場景生成等亮點。
能夠實現這樣的逼真效果,得益於崑崙萬維自研3D場景生成大模型,包含兩個核心模組:場景布局生成模組和紋理生成模組。幾何生成模組藉助可微渲染和擴散模型技術,能創造出和輸入圖片一致的3D場景布局;紋理生成模組在圖片生成模型和視頻生成模型基礎上訓練,當用戶在場景中運動時,崑崙自研3D場景生成大模型不斷對場景缺失區域進行幾何和紋理的補全,從而確保用戶在任何位置、任何角度都能看到合理、一致的場景。
為達到更好的流暢性、一致性等,崑崙萬維可互動視頻大模型建立在先進的生成式視頻模型之上,結合自主研發的用戶互動模組,最終實現了一種以用戶輸入為核心驅動的空間智慧型視頻生成方案。
該方法能夠在保證開放領域視頻生成能力的同時,進一步增強對視頻內容中視角移動的精確控制,使其更加符合用戶的互動需求和預期。通過這種方式,我們不僅可以生成符合用戶意圖的視頻內容,還能夠最佳化空間智慧型模型的適配性,從而拓展在虛擬環境、互動式套用以及沉浸式體驗中的套用場景。
作為針對圖片對應的 3D 世界中自由探索提出的視頻生成系統,Matrix-Zero 能夠在不同環境下高效地生成高質量的視頻內容,並確保視頻的流暢性、一致性和合理性。