通義萬相Wan2.2-S2V是阿里巴巴於2025年8月26日開源的多模態視頻生成模型。
該模型通過單張靜態圖片結合音頻輸入，可生成具有自然面部表情、精準口型同步及流暢肢體動作的數字人視頻，支持驅動真人、卡通、動物等類型圖片，生成視頻長度達分鐘級別。
該模型採用MoE（Mixture-of-Experts）架構，包含高噪專家和低噪專家兩個模組，總計270億參數，每步僅激活140億參數。通過層次化幀壓縮技術將歷史參考幀長度擴展至73幀，並引入AdaIN和CrossAttention控制機制實現音頻驅動視頻生成。訓練數據包含超60萬個音視頻片段，支持多解析度推理以適應豎屏短視頻、橫屏影視劇等場景。模型在FID、EFID、CSIM等核心指標上達到同類最優水平，套用於數字人直播、影視製作及AI教育等領域。
基本介紹
- 中文名：通義萬相Wan2.2-S2V
- 所屬公司 ：阿里
研發背景,發展歷史,核心技術,運營模式,核心團隊,重要事件,
研發背景
通義萬相Wan2.2-S2V是一款音頻驅動的多模態視頻生成模型，旨在超越簡單的“數字人”對話，提供達到專業電影和電視製作標準的動畫效果。該模型的研發針對複雜場景的視頻生成進行最佳化，力求在電影和電視劇等複雜場景中表現出色，呈現逼真的視覺效果。
其核心目標是通過“一張靜態圖片+一段音頻”的極簡輸入方式，生成面部表情自然、口型與音頻高度一致、肢體動作流暢的電影級數字人視頻，以服務專業影視製作、數字人直播等複雜場景套用。
為實現這一目標，研發團隊基於通義萬相的通用視頻生成能力，創新性地融合了文本引導的全局運動控制和音頻驅動的細粒度局部運動，以應對複雜場景的生成挑戰。
發展歷史
2025年8月26日晚，阿里開源全新多模態視頻生成模型通義萬相Wan2.2-S2V。阿里雲於當晚正式發布並開源該模型。模型代碼與權重已在多個開源平台發布。
核心技術
通義萬相Wan2.2-S2V採用了視頻生成領域的MoE架構。該架構包含高噪專家和低噪專家兩個模組，總計270億參數，每步激活140億參數。高噪專家負責早期階段的整體布局規劃，低噪專家負責後期階段的視頻細節最佳化。
模型基於通義萬相視頻生成基礎模型能力，融合了文本引導的全局運動控制和音頻驅動的細粒度局部運動，以實現複雜場景的音頻驅動視頻生成。同時引入AdaIN和CrossAttention兩種控制機制，旨在實現準確的音頻控制效果。
為保障長視頻生成效果，模型通過層次化幀壓縮技術，減少了歷史幀的Token數量，將歷史參考幀的長度從數幀拓展到73幀，以支持穩定的長視頻生成，單次生成的視頻時長可達分鐘級。
在模型訓練方面，通義團隊構建了超60萬個片段的音視頻數據集，通過混合併行訓練進行全參數化訓練。同時通過多解析度訓練，使模型支持多解析度的推理，可適應不同解析度場景的視頻生成需求，如豎屏短視頻、橫屏影視劇。
通義萬相Wan2.2-S2V在FID、EFID、CSIM等核心指標上表現較好。
運營模式
通義萬相Wan2.2-S2V採用Apache-2.0協定開源，其模型代碼與權重已在GitHub、魔搭社區、Hugging Face等平台開源發布。
核心團隊
通義萬相Wan2.2-S2V模型由阿里雲通義萬相團隊研發。該團隊在2025年8月26日推出了此模型。該模型在論文《Wan-S2V: 音頻驅動的電影視頻生成》中被介紹。
重要事件
2025年8月26日，阿里雲通義萬相團隊發布並開源了音頻驅動視頻生成模型Wan2.2-S2V。該模型能夠根據輸入的靜態圖片和音頻，生成包含對應面部表情、口型及肢體動作的動態數字人視頻，單次生成時長可達分鐘級。
模型已在GitHub、魔搭社區、Hugging Face等平台開源。
