SkyReels-V3

SkyReels-V3是由Skywork AI自主研發的多模態視頻生成模型,於2026年1月29日正式開源。該模型整合參考圖像轉視頻、視頻延長和音頻驅動虛擬形象三大核心功能,支持1-4張參考圖像的多條件融合,採用跨幀配對策略構建動態視頻數據。其視頻延長模組提供單鏡頭延長與鏡頭切換延長兩種模式,支持5種專業電影轉場手法和多種解析度輸出配置。虛擬形象模型通過音視頻對齊技術實現唇部運動與語音同步,支持分鐘級長視頻生成及多角色互動。

SkyReels系列模型自2025年起陸續開源,V3版本基於統一的多模態上下文學習框架開發,採用圖像-視頻混合訓練策略提升生成質量。在包含200組測試數據的評估中,其參考一致性指標達0.6698,視覺質量指標達0.8119。該模型代碼託管於GitHub,提供獨立模組組合使用功能,支持本地部署與定製改造。

基本介紹

  • 中文名:SkyReels-V3
  • 研發企業:Skywork AI
  • 類型:視頻生成模型
簡介,發展歷史,套用亮點,

簡介

作為一系列多模態視頻生成模型,該系列支持參考圖像轉視頻(Reference Images-to-Video)、視頻延長(Video Extension)和音頻驅動虛擬形象(Talking Avatar)三大核心能力,在單一建模架構中實現高保真多模態視頻生成,達到行業領先水平。
三大核心能力作為獨立模組,每個模組深度最佳化且支持靈活組合。Skywork AI團隊通過企業級數據處理、極速推理能力和高效的訓練架構等技術實現,讓生成的視頻達到專業級效果,多項指標達到或超越行業領先水平。

發展歷史

2026年1月29日,SkyReels-V3正式開源。

套用亮點

  • 參考圖像轉視頻(Reference Images-to-Video):讓靜態圖像"活"起來
SkyReels-V3可根據1至4張參考圖像,並結合文本提示,生成時間連貫、語義一致的高質量視頻序列。無論是人物形象、商品展示還是背景場景,生成的視頻都能精準保留原始身份特徵、空間構圖和敘事連貫性。
其背後是Skywork AI團隊在數據構建、多參考條件融合和混合訓練策略上的多重技術創新:
高質量數據構建:團隊從海量視頻中篩選具有顯著動態運動的素材,並採用跨幀配對策略確保時間多樣性。更為關鍵的是,利用圖像編輯模型對主體區域進行提取、背景補全和語義重寫,有效避免了常見的“複製貼上”偽影,從數據源頭保障了生成質量。
多參考條件融合:模型採用統一的策略聯合編碼視覺和文本信息,最多支持4張參考圖像。這意味著用戶無需進行複雜的圖像拼接或手動蒙版,即可實現複雜多主體、多元素的自然互動與場景組合。例如,在電商場景中,可將商品圖與虛擬主播形象結合,直接生成一段在特定環境下的帶貨視頻,精準保留商品細節與主播身份特徵。
混合訓練策略:團隊利用圖像-視頻混合訓練,聯合利用大規模圖像和視頻數據集,且利用多解析度聯合最佳化提升不同空間尺度和寬高比的魯棒性。
在包含200對混合測試集(涵蓋電影電視、電商、廣告等多領域)的評估中,SkyReels-V3展現出卓越的性能表現。
面對人物、動物、物體和背景場景等多種參考類型,SkyReels-V3在參考一致性指標上達到0.6698,超越Vidu Q2(0.5961)、Kling 1.6(0.6630)和PixVerse V5(0.6542)等主流商用模型;在視覺質量指標上更以0.8119的得分領先全場,證明了其在保持參考特徵的同時生成高保真視頻的強大能力。
  • 視頻延長(Video Extension):突破時長限制,擴展敘事邊界
SkyReels-V3視頻延長模型可將輸入視頻片段延伸為時間連貫、語義一致的後續內容,在文本指導下保持運動動態、場景結構和視覺風格。未來有望套用在電影/電視內容創作、短視頻系列製作、 遊戲過場動畫和長視頻增強等領域。
首先,其支持“雙模式延長”功能。傳統視頻延長技術大多局限於簡單拉長時間維度,而SkyReels-V3的視頻延長功能實現了質的飛躍。它基於視頻語義和用戶Prompt,能夠智慧型預測下一個鏡頭的合理延續與場景內容,使視頻創作從“時間擴展”升級為“敘事擴展”。
這一功能提供兩種專業模式:單鏡頭延長模式保持原有視角和敘事連貫性,實現平滑的鏡頭延續;而更具創新性的鏡頭切換延長模式則支持五種專業轉場技術,包括切入(Cut In)、切出(Cut Out)、多角度(Multi Angle)、正反鏡頭(Shot/Reverse Shot)和切離(Cut Away)等專業電影轉場手法。這意味著用戶可以從一個簡單的短視頻片段出發,通過智慧型鏡頭擴展,構建出具有完整敘事結構的專業級視頻內容。
此外,模型中內置智慧型鏡頭切換檢測器,能夠自動分析長視頻中的轉場點,識別並分類不同的轉場類型。SkyReels-V3視頻延長功能支持多種輸出配置,包括480p/720p解析度,1:1、3:4、4:3、16:9、9:16等多種寬高比,滿足不同平台的發布需求;單鏡頭延長支持5-30秒可調節長度,為用戶提供了充分的創作靈活性。
從技術實現上來看,SkyReels-V3採用創新的統一多分段位置編碼技術,能夠精準建模複雜視頻序列中的運動軌跡。通過分層混合訓練策略,模型實現了不同鏡頭之間的平滑切換,解決了傳統視頻延長中常見的“跳躍”和“斷裂”問題。這一技術確保即使在多主體互動、快速運動和場景劇變的情況下,延長內容也能保持高度的物理可信度和時間連貫性。
3虛擬形象模型(Talking Avatar Model):聲畫同步,打造“會說話的數字人”新時代
SkyReels-V3虛擬形象模型可從單張肖像圖和音頻片段生成高質量、音視頻同步的視頻,支持分鐘級長視頻生成和多角色互動。其卓越的音視頻同步能力和高質量生成效果,為虛擬主播、線上教育、企業宣傳等多個行業帶來了前所未有的創作可能。
  • SkyReels-V3虛擬形象模型具備四大核心能力,重新定義行業標準:
高保真視覺合成技術
SkyReels V3在視覺合成方面達到了新的高度。模型不僅能夠精準還原唇部運動,更能夠捕捉細微的面部表情變化,使虛擬形象的表現力更加豐富自然。無論是真實人物、卡通角色,還是動物形象或藝術化風格,系統都能保持原有的特徵一致性,為不同套用場景提供量身定製的解決方案。
廣泛的風格兼容性
這一功能的突出優勢在於其卓越的風格適應能力。從企業虛擬代言人到動漫角色,從教育講解員到創意內容主角,SkyReels V3能夠根據不同的肖像輸入,生成相應風格的虛擬形象視頻,滿足從專業商業用途到個人創意表達的多樣化需求。
長視頻穩定生成能力
通過關鍵幀約束生成技術,系統能夠建立結構重要的關鍵幀,並生成關鍵幀間的平滑過渡,確保在長視頻生成過程中始終保持高度的穩定性和一致性。這一突破使得製作高質量的教育視頻、新聞播報、長篇故事敘述成為可能,大大拓展了虛擬形象的套用邊界。
多人物場景支持
SkyReels V3在多虛擬形象場景最佳化方面展現了行業領先的技術實力。系統支持顯式的角色分配和協調互動,通過掩碼指定說話人,能夠實現對話、採訪等複雜場景的自然呈現。這一功能為虛擬訪談、多角色教學等套用場景打開了新的可能性。
SkyReels-V3虛擬形象模型的卓越性能源於多項技術創新。精準音視頻對齊技術確保了語音與口型的完美匹配,即使在處理快速語速或特殊發音時也能保持高度同步。而關鍵幀約束生成機制則通過智慧型識別關鍵表情和口型節點,在保證生成效率的同時,確保了長視頻的內容連貫性和視覺穩定性。

相關詞條

熱門詞條

聯絡我們