Wan2.2-S2V是阿里巴巴集團於2025年8月開源的多模態視頻生成模型,可通過輸入靜態圖片和音頻生成面部表情自然、口型同步且肢體動作流暢的電影級數字人視頻,單次生成時長可達分鐘級,支持真人、卡通、動物及數字人等多種類型圖片,適用於肖像、半身及全身畫幅場景。
該模型基於通義萬相視頻生成基礎框架,採用業界首個視頻生成領域的MoE(Mixture-of-Experts)架構,融合文本引導的全局運動控制與音頻驅動的細粒度局部運動,通過AdaIN和CrossAttention控制機制提升音頻同步效果。運用層次化幀壓縮技術將歷史參考幀拓展至73幀,實現穩定長視頻生成,支持豎屏短視頻與橫屏影視劇等多解析度格式。訓練採用超60萬個音視頻片段數據集,在FID、EFID、CSIM等指標上達到同類模型最優水平。模型代碼及權重已在GitHub、魔搭社區和HuggingFace平台開源,累計下載量超2000萬。
基本介紹
- 中文名:Wan2.2-S2V
- 類型:模型

