Wan2.1-VACE是視頻生成與編輯統一模型，支持文生視頻、圖像參考生成、重繪、局部編輯等6大任務，可實現多任務組合。模型分為1.3B和14B兩個版本，其中1.3B版本支持480P解析度且可在消費級顯示卡運行，14B版本支持更高解析度。其核心創新在於提出了視頻條件單元VCU，統一了文生視頻、參考圖生視頻、視頻生視頻、局部視頻生視頻四大類任務的輸入形態，並支持文本、圖像、視頻、Mask和控制信號等多模態輸入。
通義萬相系列模型最初於2023年7月7日作為AI繪畫創作模型上線，於2024年9月19日發布視頻生成大模型，並於2025年1月升級至2.1版本。2025年2月25日，阿里巴巴宣布全面開源萬相2.1模型。2025年5月，阿里巴巴開源了Wan2.1-VACE模型，該模型隨後在GitHub、Hugging Face和魔搭社區等平台上線。
基本介紹
- 外文名：Wan2.1-VACE
- 發布方：阿里
研發背景,發展歷程,重要事件,產品功能,產品版本,核心技術,運營模式,核心團隊,
研發背景
2025年5月15日，阿里巴巴集團開源發布了Wan2.1-VACE模型。
Wan2.1-VACE隸屬於阿里巴巴通義萬相系列，該系列最初於2023年7月上線用於圖片創作，於2024年9月正式發布視頻生成模型，並於2025年初升級至2.1版本。
該模型基於通義萬相文生視頻模型研發，並提出了視頻條件單元（VCU），在輸入形態上統一了文生視頻、參考圖生視頻、視頻生視頻、局部視頻生視頻等類型的視頻生成與編輯任務。
模型開源時發布了1.3B和14B兩個版本，其中1.3B版本支持480P解析度且可在消費級顯示卡運行，14B版本支持480P與720P解析度。該模型整合了多項視頻生成與編輯功能。
發展歷程
通義萬相最初於2023年7月7日上線，主要用於輔助圖片創作。2024年9月19日，通義萬相視頻生成大模型在阿里雲棲大會正式發布，標誌著其正式進軍視頻生成領域。2025年1月初，通義萬相視頻生成模型升級至2.1版。2025年2月25日，阿里巴巴宣布全面開源萬相2.1模型。2025年5月14日，阿里巴巴正式開源了整合文生視頻、圖像參考視頻生成、視頻重繪、視頻局部編輯、視頻背景延展以及視頻時長延展等多種功能於單一模型中的視頻生成與編輯模型“通義萬相 Wan2.1-VACE”。
重要事件
2025年5月14日，阿里巴巴集團正式開源視頻生成與編輯統一模型Wan2.1-VACE。該模型是一個視頻生成與編輯模型，單一模型支持文生視頻、圖像參考視頻生成、視頻重繪、視頻局部編輯、視頻背景延展以及視頻時長延展等基礎生成和編輯能力。模型已在GitHub、Hugging Face和魔搭社區上線。
產品功能
該模型可一次性完成畫幅擴展、時長延展和圖像參考等多項任務，如將靜態圖擴展為動態視頻，GitHub獲得1.1萬star。
產品版本
模型分為1.3B（支持480P、可用消費級顯示卡）和14B版本（支持480P/720P，並可擴展至1080P），採用創新的視頻條件單元VCU統一四大輸入形態。
核心技術
Wan2.1-VACE基於通義萬相文生視頻模型研發，同時提出了視頻條件單元VCU，它在輸入形態上統一了文生視頻、參考圖生視頻、視頻生視頻、基於局部區域的視頻生視頻4大類視頻生成和編輯任務。視頻條件單元VCU將多模態的各類上下文輸入，總結成了文本、幀序列、Mask序列三大形態，在輸入形式上統一了4類視頻生成與編輯任務。
模型支持文本、圖像、音頻甚至視頻片段的混合輸入，通過跨模態注意力機制實現特徵融合。為了解決多模態輸入的token序列化難題，Wan2.1-VACE將VCU輸入的幀序列進行概念解耦，分開重構成可變序列和不可變序列後進行編碼。
技術實現上，模型採用分層編碼器：文本編碼器基於Transformer架構提取語義特徵；視覺編碼器使用3D卷積網路處理圖像或視頻片段，捕捉空間與時間信息；音頻編碼器通過頻譜分析提取環境音效特徵。
Wan2.1-VACE引入時間卷積網路和運動預測模組，通過預測關鍵幀間的中間狀態，實現平滑過渡。模型支持條件生成，用戶可通過調整參數如運動速度、光照強度實時控制生成過程。
Wan2.1-VACE的特點在於單模型支持多任務靈活組合處理，無需傳統多模型串聯的複雜工作流。其支持任意基礎能力的自由組合，用戶無需針對特定功能訓練一個新的專家模型，即可完成更複雜的任務。
運營模式
模型支持通過阿里雲計算巢進行部署，部署時間約5分鐘。官方提供了開發者指南，內容包括環境配置、模型調用、參數調整、性能最佳化建議以及統一的API接口，以支持視頻生成和編輯任務。
核心團隊
Wan2.1-VACE的開發團隊為Wan-AI，隸屬於阿里巴巴通義萬相團隊。模型在Hugging Face和魔搭社區等開源平台有相關頁面。社區貢獻者包括QuantStack等。
