CogVideoX

CogVideoX是智譜AI於2024年推出的開源視頻生成模型，通過融合文本、時間、空間三維的transformer架構實現多模態互動最佳化，其自研三維變分自編碼器（3D VAE）將視頻數據壓縮至原始大小的2%，有效降低訓練成本。該模型支持文生視頻和圖生視頻功能，生成6秒視頻僅需30秒（截至2024年7月），最高可輸出768P解析度16幀視頻（截至2024年11月），並配備音效生成能力。CogVideoX已套用於"清影"視頻生成產品，面向開發者和C端用戶免費開放體驗。

基本介紹

• 開源日期：2024年8月6日  
• 推理顯存：18GB（FP-16精度）  
• 支持解析度：10秒、4K、60幀（2024年11月） 
• 生成時長：6秒或 10秒    
• 開源版本：v1.5-5B 
• 框架特性：三維變分自編碼器 

技術架構

1. 多模態融合架構：
2. 採用文本/時間/空間三維transformer架構，通過Expert Block實現跨模態對齊
3. 自主研發3D RoPE位置編碼模組，增強幀間關係捕捉能力
4. 結合因果三維卷積組件最佳化時間維度建模
5. 核心技術創新：
6. 3D VAE壓縮技術將視頻數據壓縮至原始大小的2%
7. CogVideoX配備的視頻理解模型CogVLM2-caption生成精確描述
8. 擴散模型訓練框架支持不同解析度視頻訓練

功能特性

• 生成性能：
• 支持文生視頻/圖生視頻雙模式
• 可處理超長複雜prompt指令（截至2024年7月）
• 單次生成最多4個視頻（2024年11月版本）

視聽表現：

• 最高輸出10秒4K/60幀視頻（截至2024年11月）
• 支持可變比例輸出及多風格適配（真實攝影/卡通/二次元等）
• 集成CogSound音效模型實現音畫同步

開源與套用

• 開源策略：
• 包含2B/5B等不同參數量模型
• 單張NVIDIA 4090顯示卡可完成推理（截至2024年8月）
• 配套開放API接口及微調工具鏈

產品套用：

• 作為"清影"產品的底層技術支撐
• 在清言App提供免費體驗服務（截至2024年7月）
• 與視覺中國合作拓展視覺內容資料庫