研發背景
Wan 2.1由
阿里巴巴集團通義實驗室開發,旨在突破AI視頻生成的技術邊界,推動視頻生成技術的發展。該模型旨在打造一個具備卓越性能、全面性、消費者級效率和開放性的視頻生成模型。其總體技術路線基於主流的擴散變換器範式,並結合了因果3D VAE等創新架構進行構建。
核心技術
Wan 2.1基於因果3D VAE(變分自編碼器)和視頻Diffusion Transformer(DiT)架構,通過時空壓縮與長時程依賴建模,支持生成指定長度的1080P高清視頻。模型採用因果3D變分自編碼器(3D VAE),支持對任意長度1080P視頻進行編碼與解碼。
模型提出了視頻條件單元(VCU),統一了
文生視頻、圖生視頻、視頻生視頻以及基於局部區域的視頻編輯等任務的輸入範式,可處理文本、圖像、視頻、掩碼及控制信號(如深度圖、光流、姿態)等多種模態的輸入。在多模態輸入處理中,通過概念解耦、編碼轉換與
特徵融合等步驟,將輸入信息轉化為token序列。
其14B參數模型採用了混合專家(MoE)動態路由架構。該版本在VBench評測中的總分為86.22%。
通過量化與分散式推理最佳化,其1.3B參數版本可在消費級GPU上運行。
核心團隊
Wan 2.1 由阿里巴巴集團
通義實驗室(阿里雲團隊)開發。
重要事件
2025年2月,
阿里巴巴正式開源通義萬相Wan 2.1系列模型,提供14B和1.3B兩個參數版本,覆蓋
文生視頻(T2V)、圖生視頻(I2V)等任務。
2025年5月14日,阿里巴巴開源
通義萬相Wan2.1-VACE,這是一個整合了視頻生成與編輯功能的模型。該模型在Wan 2.1基礎上,整合了文生視頻、圖生視頻、視頻重繪、局部編輯、背景延展、時長延展等生成與編輯能力。
2025年7月,
阿里巴巴發布Wan 2.1 Fun模型,該模型支持通過首尾幀精準控制視頻內容。
產品功能
模型能生成隨物體移動的文字,呈現複雜動作如多人舞蹈、華爾茲旋轉,物理效果自然。