Wan 2.1

Wan 2.1是阿里巴巴發布的開源視頻生成模型,採用Apache 2.0許可免費商用。提供14B和1.3B版本,其中14B版本超越Sora,1.3B輕量版僅需8GB顯存,可在NVIDIA GeForce RTX 4070顯示卡運行,能生成隨物體移動的文字和複雜動作如多人舞蹈。技術採用DiT架構和創新3D變分自動編碼器。發布Wan2.1-VACE,支持文本、圖像和視頻多模態輸入及視頻編輯功能,並最佳化實現消費級GPU上的720P視頻生成。

基本介紹

  • 中文名:通義萬相
  • 外文名:Wan 2.1
  • 發布方:阿里
研發背景,核心技術,核心團隊,重要事件,產品功能,

研發背景

Wan 2.1由阿里巴巴集團通義實驗室開發,旨在突破AI視頻生成的技術邊界,推動視頻生成技術的發展。該模型旨在打造一個具備卓越性能、全面性、消費者級效率和開放性的視頻生成模型。其總體技術路線基於主流的擴散變換器範式,並結合了因果3D VAE等創新架構進行構建。

核心技術

Wan 2.1基於因果3D VAE(變分自編碼器)和視頻Diffusion Transformer(DiT)架構,通過時空壓縮與長時程依賴建模,支持生成指定長度的1080P高清視頻。模型採用因果3D變分自編碼器(3D VAE),支持對任意長度1080P視頻進行編碼與解碼。
模型提出了視頻條件單元(VCU),統一了文生視頻、圖生視頻、視頻生視頻以及基於局部區域的視頻編輯等任務的輸入範式,可處理文本、圖像、視頻、掩碼及控制信號(如深度圖、光流、姿態)等多種模態的輸入。在多模態輸入處理中,通過概念解耦、編碼轉換與特徵融合等步驟,將輸入信息轉化為token序列。
其14B參數模型採用了混合專家(MoE)動態路由架構。該版本在VBench評測中的總分為86.22%。
通過量化與分散式推理最佳化,其1.3B參數版本可在消費級GPU上運行。

核心團隊

Wan 2.1 由阿里巴巴集團通義實驗室(阿里雲團隊)開發。

重要事件

2025年2月,阿里巴巴正式開源通義萬相Wan 2.1系列模型,提供14B和1.3B兩個參數版本,覆蓋文生視頻(T2V)、圖生視頻(I2V)等任務。
2025年5月14日,阿里巴巴開源通義萬相Wan2.1-VACE,這是一個整合了視頻生成與編輯功能的模型。該模型在Wan 2.1基礎上,整合了文生視頻、圖生視頻、視頻重繪、局部編輯、背景延展、時長延展等生成與編輯能力。
2025年7月,阿里巴巴發布Wan 2.1 Fun模型,該模型支持通過首尾幀精準控制視頻內容。

產品功能

模型能生成隨物體移動的文字,呈現複雜動作如多人舞蹈、華爾茲旋轉,物理效果自然。

相關詞條

熱門詞條

聯絡我們