Wan2.2-Animate

Wan2.2-Animate是阿里雲通義萬相於2025年9月19日開源的動作生成模型。

該模型支持驅動人物、動漫形象和動物照片生成動態視頻,主要套用於短視頻創作、舞蹈模板生成及動漫製作領域。模型基於Animate Anyone框架升級,提供角色模仿(遷移參考視頻動作表情)和角色扮演(替換視頻角色)兩種模式,通過統一架構實現雙模式兼容。研發團隊構建了涵蓋說話、面部表情與身體動作的大規模數據集,採用骨骼信號控制身體運動、隱式特徵驅動面部表情,配合光照融合LoRA技術。在視頻生成質量、主體一致性等指標上表現較好。該模型曾在杭州雲棲大會上與Wan2.5 preview系列模型一同展示。該模型為開源模型。自2025年2月以來,通義萬相已開源20餘款模型。

基本介紹

  • 外文名:Wan2.2-Animate
  • 發布方:阿里雲
產品功能,技術原理,發展歷程與開源,使用與部署,線上體驗,API調用,本地部署,

產品功能

模型升級自Animate Anyone,提供角色模仿(複製動作和表情)和角色扮演(替換原視頻角色)兩種模式,人物一致性和生成質量大幅提升。

技術原理

Wan2.2-Animate模型基於通義萬相圖生視頻模型(Wan-I2V (DiT))構建,是對Animate Anyone模型的全面升級。研發團隊構建了一個涵蓋說話、面部表情和身體動作的大規模人物視頻數據集,並基於通義萬相圖生視頻模型進行後訓練。
該模型採用統一的“雙模式架構”,通過最佳化輸入範式,將角色動畫(Move模式,或稱動畫模式)和角色替換(Mix模式,或稱替換模式)統一為共同符號表示,實現了單一模型同時兼容兩種推理模式,模型可根據輸入自動切換生成模式。
模型對身體運動和臉部表情進行解耦控制。身體運動控制方面,採用基於VitPose技術提取的2D骨骼信號,並通過空間對齊的方式注入初始噪聲潛在向量,確保動作遷移的準確性。面部表情控制方面,則直接編碼參考視頻的原始人臉圖像為幀級隱式潛在特徵,通過時序對齊交叉注意力機制注入,以避免手動關鍵點標註可能導致的細節丟失,從而精準復刻微妙的表情變化。
針對角色替換(Mix模式)任務中的環境融合難題,團隊專門開發了一個輔助的“重新打光LoRA”(Relighting LoRA)模組。該模組依託IC-Light合成數據訓練,能在保持角色外觀一致的同時,學習目標視頻的環境光照與色彩色調,使替換後的新角色能夠自然地“融入”而非“貼上”原視頻場景,有效解決了傳統模型“摳圖感”明顯的痛點。
模型的訓練過程分為多個階段,主要包括身體控制訓練、面部控制訓練、聯合控制訓練、聯合模式訓練以及專門為替換模式設計的重新打光LoRA訓練。

發展歷程與開源

2025年9月19日,阿里雲通義萬相宣布全新動作生成模型Wan2.2-Animate正式開源。該模型基於此前通義萬相開源的Animate Anyone模型全面升級,支持“角色模仿”與“角色扮演”兩種模式。即日起,用戶可在GitHub、HuggingFace和魔搭社區下載模型和代碼,也可以在阿里雲百鍊平台調用API,或通義萬相官網直接體驗。模型開源協定為Apache-2.0。自2025年2月以來,通義萬相已連續開源20多款模型,累計下載量超3000萬。

使用與部署

Wan2.2-Animate提供了多種使用方式,用戶可通過通義萬相官網線上體驗,通過阿里雲百鍊平台調用API服務,或通過開源平台獲取模型進行本地部署。

線上體驗

普通用戶可通過通義萬相官網(包括國內站與國際站)線上體驗Wan2.2-Animate模型,上傳人物圖片與參考視頻即可生成動作復刻或角色替換的視頻效果。

API調用

開發者可通過阿里雲百鍊平台接入Wan2.2-Animate的API服務,將模型能力集成到自有套用或工作流中。

本地部署

模型代碼、權重及完整的推理與預處理工作流已在GitHub、Hugging Face及魔搭社區開源。模型支持GGUF與Safetensors格式。推薦使用A100或RTX 4090及以上規格的GPU進行推理,針對低顯存GPU(如RTX 3060)推薦使用GGUF格式模型並降低輸出解析度(如480x832)。模型支持在ComfyUI等平台進行部署。部署所需的基礎環境可包括Ubuntu 22.04、Cuda V12.4、Python 3.12等。

相關詞條

熱門詞條

聯絡我們