產品功能
模型升級自Animate Anyone,提供角色模仿(複製動作和表情)和角色扮演(替換原視頻角色)兩種模式,人物一致性和生成質量大幅提升。
技術原理
Wan2.2-Animate模型基於通義萬相圖生視頻模型(Wan-I2V (DiT))構建,是對Animate Anyone模型的全面升級。研發團隊構建了一個涵蓋說話、面部表情和身體動作的大規模人物視頻數據集,並基於通義萬相圖生視頻模型進行後訓練。
該模型採用統一的“雙模式架構”,通過最佳化輸入範式,將角色動畫(Move模式,或稱動畫模式)和角色替換(Mix模式,或稱替換模式)統一為共同符號表示,實現了單一模型同時兼容兩種推理模式,模型可根據輸入自動切換生成模式。
模型對身體運動和臉部表情進行解耦控制。身體運動控制方面,採用基於VitPose技術提取的2D骨骼信號,並通過空間對齊的方式注入初始噪聲潛在向量,確保動作遷移的準確性。面部表情控制方面,則直接編碼參考視頻的原始人臉圖像為幀級隱式潛在特徵,通過時序對齊交叉注意力機制注入,以避免手動關鍵點標註可能導致的細節丟失,從而精準復刻微妙的表情變化。
針對角色替換(Mix模式)任務中的環境融合難題,團隊專門開發了一個輔助的“重新打光LoRA”(Relighting LoRA)模組。該模組依託IC-Light合成數據訓練,能在保持角色外觀一致的同時,學習目標視頻的環境光照與色彩色調,使替換後的新角色能夠自然地“融入”而非“貼上”原視頻場景,有效解決了傳統模型“摳圖感”明顯的痛點。
模型的訓練過程分為多個階段,主要包括身體控制訓練、面部控制訓練、聯合控制訓練、聯合模式訓練以及專門為替換模式設計的重新打光LoRA訓練。
發展歷程與開源
2025年9月19日,阿里雲通義萬相宣布全新動作生成模型Wan2.2-Animate正式開源。該模型基於此前通義萬相開源的
Animate Anyone模型全面升級,支持“角色模仿”與“角色扮演”兩種模式。即日起,用戶可在GitHub、
HuggingFace和
魔搭社區下載模型和代碼,也可以在
阿里雲百鍊平台調用API,或通義萬相官網直接體驗。模型開源協定為Apache-2.0。自2025年2月以來,通義萬相已連續開源20多款模型,累計下載量超3000萬。
使用與部署
Wan2.2-Animate提供了多種使用方式,用戶可通過
通義萬相官網線上體驗,通過
阿里雲百鍊平台調用API服務,或通過開源平台獲取模型進行本地部署。
線上體驗
普通用戶可通過通義萬相官網(包括國內站與國際站)線上體驗Wan2.2-Animate模型,上傳人物圖片與參考視頻即可生成動作復刻或角色替換的視頻效果。
API調用
開發者可通過
阿里雲百鍊平台接入Wan2.2-Animate的API服務,將模型能力集成到自有套用或工作流中。
本地部署
模型代碼、權重及完整的推理與預處理工作流已在GitHub、
Hugging Face及
魔搭社區開源。模型支持GGUF與Safetensors格式。推薦使用A100或
RTX 4090及以上規格的GPU進行推理,針對低顯存GPU(如RTX 3060)推薦使用GGUF格式模型並降低輸出解析度(如480x832)。模型支持在
ComfyUI等平台進行部署。部署所需的基礎環境可包括Ubuntu 22.04、Cuda V12.4、Python 3.12等。