VideoCrafter2是騰訊AI實驗室於2024年1月發布的視頻生成模型，通過創新性技術路徑突破高質量視頻生成的數據限制。該模型採用數據解耦策略，將視頻生成拆分為運動模組與外觀模組獨立訓練，前者利用低質量視頻學習動作連貫性，後者通過高解析度圖像提升畫面細節。相較於初代版本，VideoCrafter2在光影效果、動態表現和概念組合能力上實現顯著提升，支持文本到視頻（T2V）和圖像到視頻（I2V）雙模式生成。
基本介紹
- 研發機構：騰訊AI實驗室
- 發布時間：2024年1月
- 核心技術：數據解耦策略
- 部署方式：支持Anaconda環境部署
- 測評結果：CVPR 2025綜合得分3.87
- 模型類型：擴散模型
技術架構,性能評估,套用場景,版本疊代,
技術架構
採用運動-外觀解耦框架，通過分離時間維度的運動信息與空間維度的圖像特徵，有效緩解高質量視頻數據不足的瓶頸。運動模組使用低質量視頻數據集訓練時序動態建模能力，外觀模組通過合成圖像數據集最佳化畫面解析度與細節表現。
擴散模型架構基於逐步去噪生成原理，結合改進的注意力機制與損失函式設計，確保生成效率與畫面質量平衡。模型支持多解析度輸出，提供預訓練基座與微調接口，形成文本轉視頻、圖像轉視頻的全產品矩陣。
性能評估
在2025年CVPR發布的Video-Bench評估框架測試中，VideoCrafter2綜合得分為3.87（滿分5分），落後於商業模型Gen3（4.38分）。動態維度表現相對薄弱，動作合理性指標僅2.53分（滿分3分），動態模糊指標3.11分（滿分5分），反映出時序建模仍有最佳化空間。
模型在視頻 文本一致性指標上達到行業平均水平，證明其語義理解與內容匹配能力符合基礎套用需求。通過EvalCrafter基準測試驗證，該模型在保持運動連貫性的前提下，畫面細節生成質量較初代提升37%。
套用場景
面向影視預演、數字行銷等領域提供快速原型生成能力，支持通過Gradio本地界面實現低代碼互動。DynamiCrafter子模型專門針對高解析度圖像轉視頻場景，可將靜態素材轉化為動態視頻，提升內容創作效率。
開源版本已部署至HuggingFace平台，研究者可通過預訓練模型進行二次開發。企業用戶主要套用於產品演示視頻自動生成、社交媒體短內容創作等場景。
版本疊代
相較於2023年發布的VideoCrafter1，第二代模型在有限數據條件下實現三項突破：動作流暢度提升52%、概念組合錯誤率降低29%、輸出解析度支持4K規格。通過引入合成圖像數據集微調策略，解決了初代模型畫面顆粒感明顯、光影層次不足的缺陷。
技術文檔與論文代碼均已開源，涵蓋運動模組訓練方法、空間層最佳化方案等核心內容。研究團隊持續更新模型參數，2024年4月發布的v2.1版本最佳化了動態模糊抑制算法。
