NUWA-XL是微軟亞洲研究院於2025年6月4日發布的超長視頻生成模型，外文名同稱。該模型採用Diffusion over Diffusion架構，基於“從粗到細”的生成流程，通過全局擴散模型生成全時段關鍵幀，再以局部擴散模型遞歸填充中間幀內容，實現並行生成高質量長視頻。NUWA-XL可根據16句文本描述生成長達11分鐘的視頻。
NUWA-XL於2023年4月6日實現技術突破，採用Diffusion over Diffusion架構實現16句文本生成11分鐘高質量動畫。相關研究在ACL 2023會議上發表。2024年3月6日，NUWA-XL開放官網體驗入口，支持通過腳本生成11分鐘超長視頻，套用於影視及遊戲開發，實現商用化。NUWA-XL可直接訓練於3376幀長視頻，消除訓練與推理差距，確保視頻全局與局部連貫性。其支持並行推理，生成1024幀視頻時間由傳統模型的7.55分鐘縮減至26秒，效率提升94.26%。模型在Avg FID（35）和B-FVD指標上優於Phenaki、TATS等同類模型，並構建FlintstonesHD數據集作為長視頻生成基準。套用場景覆蓋動畫、電影及廣告製作領域。
基本介紹
- 外文名：NUWA-XL
- 功能：可以並行生成高質量的超長視頻
技術原理,技術特點,性能表現,發展歷程,套用領域,市場反響,
技術原理
NUWA-XL採用創新的Diffusion over Diffusion架構，通過「從粗到細」的生成過程，可以並行生成高質量的超長視頻。
該架構包含全局擴散模型與局部擴散模型兩部分，全局擴散模型負責生成整個時間範圍內的關鍵幀，隨後局部擴散模型遞歸地填充附近關鍵幀之間的內容。這種分層結構使得NUWA-XL能夠直接在長視頻（3376幀）上進行訓練，從而消除了訓練與推理之間的差距。
由於模型包含多個獨立的局部擴散模型，它天然支持並行推理。在相同的硬體設定下，生成1024幀視頻時，NUWA-XL使平均推理時間從7.55分鐘減少到26秒，速度提升了94.26%。
為驗證模型效果，研究團隊構建了FlintstonesHD數據集，作為長視頻生成的新基準。
技術特點
NUWA-XL的核心技術特點在於其創新的Diffusion over Diffusion架構與“從粗到細”的生成流程，該模型採用全局擴散模型生成整個時間範圍內的關鍵幀，再由局部擴散模型遞歸填充關鍵幀之間的內容。
這一分層結構使模型能夠直接在長視頻上進行訓練，從而消除了訓練和推理之間的差距。模型包含多個局部擴散模型，天然支持並行推理，可以顯著提高生成長視頻時的推理速度，例如在相同的硬體設定下，當生成1024幀時，NUWA-XL使平均推理時間從7.55分鐘減少到26秒，速度提升了94.26%。
該架構確保了生成視頻同時具備全局和局部連貫性。由於視頻的長度可以相對於深度呈指數級擴展，因此模型可以很容易地擴展出更長的視頻。
基於這些技術，NUWA-XL能夠僅憑16句文本描述即生成一段長達11分鐘的高質量動畫視頻。
性能表現
NUWA-XL在Avg FID（35）和B-FVD指標上優於Phenaki、TATS等同類模型，在相同硬體設定下生成1024幀視頻的平均推理時間從7.55分鐘減少到26秒，速度提升94.26%，並構建FlintstonesHD數據集作為長視頻生成的新基準。
發展歷程
2023年4月，微軟亞洲研究院推出NUWA-XL超長視頻生成模型，該模型採用創新的Diffusion over Diffusion架構，能夠根據文本描述生成高質量的超長視頻。
2023年6月，NUWA-XL的相關研究論文《NUWA-XL: Diffusion over Diffusion for eXtremely Long Video Generation》在ACL 2023會議上發表。
2024年3月6日，NUWA-XL開放官網體驗入口，實現商用化，支持用戶通過腳本生成長達11分鐘的超長視頻，並套用於影視及遊戲開發等領域。
套用領域
NUWA-XL的套用場景覆蓋動畫、電影及廣告製作領域。例如，該模型可根據16句簡單的文本描述，生成一段長達11分鐘的動畫。此外，其商用化版本已支持通過腳本生成超長視頻，套用於影視及遊戲開發。
市場反響
NUWA-XL發布時因其能根據16句描述生成11分鐘動畫而引發媒體和行業關注。該模型被行業觀察者評價為能夠幫助動畫、影視、廣告等視覺製作領域提高生產力的工具。在文生視頻擴散模型的發展浪潮中，NUWA-XL與Runway Gen2等模型一同被視為代表性進展。
