Matrix-Zero世界模型

Matrix-Zero世界模型是崑崙萬維於2025年2月14日發布的AI模型,預計4月上線,集成3D場景生成與可互動視頻生成技術,屬中國首家同時推出3D場景生成和可互動視頻生成模型的探索空間智慧型企業。

該模型由自研3D場景生成系統與可互動視頻生成系統構成:前者通過可微渲染與擴散模型實現圖片轉3D場景,支持動態物理效果、全局風格遷移及場景補全;後者基於生成式視頻模型,提供實時互動視頻生成能力,具備視角移動精準控制功能。技術亮點包括幾何-紋理協同補全與開放領域適配能力,戰略定位為賦能AI遊戲開發、AI短劇製作及內容編輯業務,其技術突破預示著遊戲開發可能擺脫傳統3D引擎依賴,影視創作門檻將大幅降低,被視為空間智慧型技術顛覆行業生態的重要里程碑。

基本介紹

  • 中文名:Matrix-Zero世界模型
  • 上市時間:2025年2月14日
發展歷史,模型功能,

發展歷史

2025年2月14日,崑崙萬維正式推出 Matrix-Zero世界模型,成為中國第一家同時推出3D場景生成和可互動視頻生成模型的探索空間智慧型的企業。

模型功能

Matrix-Zero世界模型包含兩款子模型:
(1)崑崙萬維自研3D場景生成大模型,支持將用戶輸入的圖片轉化為可自由探索的真實合理的3D場景,比World Labs生成場景的探索範圍更大更自由,而且包括動態物理效果;
(2)崑崙萬維自研可互動視頻生成大模型,提供以用戶輸入為核心驅動的可互動空間智慧型視頻生成方案,支持根據用戶實時輸入生成互動視頻效果,具備更精準控制的action model。
崑崙萬維Matrix-Zero的3D場景生成功能,支持將用戶輸入的圖片轉化為可自由探索的真實合理的3D場景,具備全局一致性、可自由探索、支持不同風格圖片輸入、支持風格遷移、支持動態場景生成等亮點。
能夠實現這樣的逼真效果,得益於崑崙萬維自研3D場景生成大模型,包含兩個核心模組:場景布局生成模組和紋理生成模組。幾何生成模組藉助可微渲染和擴散模型技術,能創造出和輸入圖片一致的3D場景布局;紋理生成模組在圖片生成模型和視頻生成模型基礎上訓練,當用戶在場景中運動時,崑崙自研3D場景生成大模型不斷對場景缺失區域進行幾何和紋理的補全,從而確保用戶在任何位置、任何角度都能看到合理、一致的場景。
為達到更好的流暢性、一致性等,崑崙萬維可互動視頻大模型建立在先進的生成式視頻模型之上,結合自主研發的用戶互動模組,最終實現了一種以用戶輸入為核心驅動的空間智慧型視頻生成方案。
該方法能夠在保證開放領域視頻生成能力的同時,進一步增強對視頻內容中視角移動的精確控制,使其更加符合用戶的互動需求和預期。通過這種方式,我們不僅可以生成符合用戶意圖的視頻內容,還能夠最佳化空間智慧型模型的適配性,從而拓展在虛擬環境、互動式套用以及沉浸式體驗中的套用場景。
作為針對圖片對應的 3D 世界中自由探索提出的視頻生成系統,Matrix-Zero 能夠在不同環境下高效地生成高質量的視頻內容,並確保視頻的流暢性、一致性和合理性。

相關詞條

熱門詞條

聯絡我們