SkyReels-V2是由崑崙萬維SkyReels團隊研發的採用擴散強迫(Diffusion-forcing)框架的電影生成模型,於2025年4月21日發布並開源。該模型整合多模態大語言模型(MLLM)、多階段預訓練、強化學習與擴散強迫框架,旨在提升視頻生成的質量和一致性,支持生成30秒、40秒時長的視頻內容。該模型在VBench1.0自動化評估中獲得總分83.9%和質量分84.7%。其核心技術包含SkyCaptioner-V1視頻理解模型、強化學習最佳化的運動動態建模及擴散強迫機制,訓練數據涵蓋全球120個國家超過620萬小時影視素材。模型採用滑動視窗方法生成長視頻,提供圖像轉視頻、攝像機運動標註及多元素到視頻生成功能,並開發了評估基準SkyReels-Bench。開源內容包括SkyCaptioner-V1模型及1.3B/5B/14B參數規模的SkyReels-V2系列模型。
基本介紹
- 外文名:SkyReels-V2
- 產品類型:電影生成模型
- 上市時間:2025年4月21日
發展歷程,技術原理,模型規格,性能評估,套用場景,發布與開源,主要功能,
發展歷程
該系列開源模型在HuggingFace平台和GitHub上獲得了一定關注。
技術原理
SkyReels-V2通過結合多模態大語言模型(MLLM)、多階段預訓練、強化學習和擴散強迫(Diffusion-forcing)框架來實現協同最佳化,旨在應對傳統視頻生成技術在提示詞遵循、視覺質量、運動動態和視頻時長協調方面面臨的挑戰。
其技術組成部分包括視頻理解模型SkyCaptioner-V1,該模型用於理解視頻數據並生成描述;通過強化學習(RL)並使用人工標註和合成失真數據進行訓練,以最佳化運動動態;採用擴散強迫框架,通過微調預訓練的擴散模型並使用非遞減噪聲時間表,以降低長視頻生成的搜尋複雜度;採用三階段漸進解析度預訓練框架,包括低解析度、中解析度和高解析度階段,訓練數據整合了通用數據集、自收集媒體和藝術資源庫。
模型採用滑動視窗方法以支持生成長視頻。
在評估方面,開發了SkyReels-Bench用於人類評估,該模型在VBench1.0自動化評估中取得了相應分數。
模型規格
開源內容包括SkyCaptioner-V1視頻理解模型和SkyReels-V2系列模型。SkyReels-V2系列包含擴散強迫、文本到視頻、圖像到視頻、攝像導演和元素到視頻等類型模型,發布的參數規模包括1.3B、5B、14B,其中SkyReels-V2-DF模型發布了1.3B和14B兩種規格。
模型支持生成30秒、40秒時長的視頻,其生成視頻在運動、一致性和保真方面具備相應特性,支持生成540P或720P解析度的視頻。
通過FP8量化和多GPU並行等技術,將720p視頻生成時間從5分鐘縮短至1分鐘內。在VBench1.0自動化評估中,SkyReels-V2的總分為83.9%,質量分為84.7%。
模型已在GitHub與HuggingFace平台開源。
性能評估
在自動化評估基準VBench 1.0中,SkyReels-V2在總分和質量分上的評分高於參與對比的其他模型。該團隊構建了評估基準SkyReels-Bench用於人類評估,SkyReels-V2在指令遵循、運動質量、一致性和視覺質量方面取得較高評分。
其擴展模型SkyReels-A2作為商業級E2V開源模型,在E2V評估基準A2-Bench的一致性和質量維度評估結果與閉源模型相近。在提示遵循性方面,該模型在鏡頭類型、攝像機運動等領域的準確率超過90%。
套用場景
SkyReels-V2支持基於滑動視窗方法的理論無限時長故事視頻生成。該模型能夠生成理論上無限時長的視頻,通過滑動視窗方法,模型在生成新幀時會參考之前生成的幀和文本提示。這種方法不僅支持時間上的擴展,還能生成具有連貫敘事的長鏡頭視頻。
SkyReels-V2提供了兩種圖像到視頻(I2V)的生成方法。該模型支持圖像轉視頻功能。
SkyReels-V2在標註攝像機運動方面具有較好的能力。其攝像導演功能通過專門篩選百萬級樣本進行最佳化。
基於SkyReels-V2基座模型,崑崙萬維研發了SkyReels-A2方案,並提出了一種新的多元素到視頻(E2V)任務。該任務能夠將任意視覺元素(如人物、物體和背景)組合成由文本提示引導的連貫視頻,同時確保對每個元素的參考圖像的高保真度。這一功能適合短劇、音樂視頻和虛擬電商內容創作等套用。
發布與開源
2025年4月21日,崑崙萬維SkyReels團隊發布並開源了SkyReels-V2模型,這是一個基於擴散強迫(Diffusion-forcing)框架的無限時長電影生成模型。
該模型已在GitHub、HuggingFace等平台開源,提供了包括擴散強迫、文本到視頻、圖像到視頻、攝像導演和元素到視頻在內的多種功能模型,參數規模涵蓋1.3B、5B、14B等多種尺寸。
SkyReels系列模型為開源項目。
據2026年1月30日的信息,SkyReels系列開源模型在HuggingFace的累計總下載量已近30萬次,GitHub stars累計超10k。其中,SkyReels-V2模型也獲得了開源社區的關注。
主要功能
其通過結合多模態大語言模型(MLLM)、多階段預訓練(Multi-stage Pretraining)、強化學習(Reinforcement Learning)和擴散強迫(Diffusion-forcing)框架來實現協同最佳化。SkyReels-V2現已支持生成30秒、40秒的視頻,且具備生成高運動質量、高一致性、高保真視頻的能力。
