Etna模型

Etna模型是七火山科技於2024年3月5日發布的文生視頻人工智慧模型,支持通過文本輸入生成8-15秒時長的4K解析度視頻,最高可達每秒60幀。該模型融合Diffusion與Transformer技術架構,採用時空壓縮器處理潛空間數據,實現對動態場景的精準語義解析與連貫生成。在商業套用層面,七火山科技與小米、快手海外平台及易點天下達成戰略合作,推動AI短劇出海譯製與數字行銷領域的深度套用。

基本介紹

  • 發布時間:2024年3月5日 
  • 解析度:4K(3840×2160)
  • 幀率:60幀/秒 
  • 生成時長:8-15秒  
  • 技術架構:Diffusion+Transformer
  • 戰略合作:小米、快手、易點天下 
技術特點,發布與演示,套用場景,技術架構,合作與商業化,行業對比,

技術特點

Etna模型採用時空卷積網路結合注意力層的混合架構,通過語言模型解析文本語義後,在潛空間執行多步去噪處理生成視頻序列。其核心技術突破包括:
  • 支持輸入自然語言描述生成3840×2160像素的4K視頻,單視頻最長可達15秒
  • 基於20億參數訓練數據集實現每秒60幀的流暢播放效果,顯著優於同期30幀模型
  • 集成CLIP系統與大語言模型,可精準解析"帝王威嚴鳥類動態"等複雜文本指令

發布與演示

2024年3月5日,七火山科技在"所想即所見"AI戰略分享會上首次公開演示Etna模型,生成案例覆蓋水下生物遊動、運動場景捕捉及維多利亞冠鴿羽毛動態等場景。同年3月5日的超訊通信聯合大會上,模型展示了4K視頻生成過程中對光線折射、動物毛髮等細節的精細還原能力。

套用場景

  • 數字行銷: 與易點天下合作開發自動化視頻生成系統,結合買量數據追蹤最佳化廣告投放效果
  • 短劇出海: 通過Lava平台實現角色換臉、多語言字幕翻譯功能,2024年在印尼市場達到月活用戶4000萬
  • 教育培訓: 生成教學示範視頻,支持解剖演示等動態可視化內容製作
  • 媒體創作: 提供分鏡腳本自動轉化服務,降低視頻製作時間成本

技術架構

模型採用三階段訓練策略:
  1. 預訓練階段: 使用超過100萬小時的LDS數據集進行基礎參數學習
  2. 最佳化階段: 運用HPO超參數最佳化算法提升時空連貫性
  3. 微調階段: 通過DPO策略調整模型對特定場景的適應能力
    時空壓縮器模組在此過程中負責將視頻數據映射至潛空間,降低處理複雜度約40%。

合作與商業化

2024年,七火山科技構建完整產品矩陣:
  • Lava平台: 實現短劇內容譯製與本地化,合作方包括位元組跳動及小米國際版
  • Bromo工具: 提供視頻超解析度增強功能,可將720p素材提升至4K
  • miniTV平台: 集成Etna模型的視頻分發系統,日均處理量達500萬條

行業對比

在全球主流文生視頻模型中,Etna模型以60幀/秒的流暢度與15秒生成時長位列第一梯隊。對比同期產品:
  • 生成時長超過Runway Gen-2的18秒上限
  • 解析度達到Sora模型的4K標準,但生成時間僅為後者的1/4
  • 在印尼市場的商業化進度領先生數科技Vidu模型三個月

相關詞條

熱門詞條

聯絡我們