CogVideo是由清華大學團隊開發的文本到視頻生成模型,它通過深度學習技術將文本描述轉換為視頻內容。該技術在視頻內容創作、教育、娛樂等領域具有廣泛的套用前景。CogVideo模型通過大規模預訓練,能夠生成與文本描述相匹配的視頻,為視頻製作提供了一種自動化方式。
基本介紹
- 外文名:CogVideo
- 研發單位:清華大學
CogVideo是由清華大學團隊開發的文本到視頻生成模型,它通過深度學習技術將文本描述轉換為視頻內容。該技術在視頻內容創作、教育、娛樂等領域具有廣泛的套用前景。CogVideo模型通過大規模預訓練,能夠生成與文本描述相匹配的視頻,為視頻製作提供了一種自動化方式。
CogVideoX-2B是一個基於擴散模型的文本到視頻生成模型,其核心技術體系主要包括用於視頻壓縮的3D變分自編碼器(3D VAE)、融合多維度信息的專家Transformer架構,以及一套高質量數據篩選與處理流程。為應對視頻數據在空間和時間維度上的高計算負擔,模型採用了自研的3D變分自編碼器(3D VAE)進行壓縮,該技術通過三維卷積...
CogVideoX-5B是一款開源的視頻生成模型,由清華大學團隊開發,支持從文本描述生成視頻。它提供了多種視頻生成模型,包括入門級和大型模型,以滿足不同質量和成本需求。模型支持多種精度,包括FP16和BF16,推薦使用與模型訓練時相同的精度進行推理。CogVideoX-5B模型特別適用於需要生成高質量視頻內容的場景,如電影製作、...
CogVideo AI是一個領先的、先進的AI平台,專注於文本轉視頻、圖像轉視頻和視頻轉視頻生成。簡介 CogVideo AI利用智慧型AI技術,將文本提示轉化為引人入勝的視頻,將靜態圖像動畫化,並增強或修改現有視頻素材。CogVideo旨在重新定義線上視頻創作,通過其線上平台,帶來無與倫比的創造力、精準度以及將想法轉化為震撼視覺...
CogVideoX 2B CogVideoX 2B是開源商用級視頻生成模型,支持6秒720*480解析度視頻生成。產品推理 模型在4090顯示卡上可進行推理,在A6000顯示卡上可完成微調,推理和微調所需顯存分別為18GB和40GB。產品優勢 CogVideoX 2B基於3D變分自編碼器(VAE)最佳化視頻的空間和時間壓縮,提高視頻生成質量和效率。
清影基於自研的CogVideoX模型構建,採用DiT架構並參考Sora算法設計,融合文本、時間、空間三個維度。該模型採用自主研發的三維變分自編碼器結構(3D VAE)和3D RoPE位置編碼模組,推理速度較前代提升6倍。用戶可通過PC端、手機App及小程式免費不限次使用,生成1440×960或4K(3840×2160)清晰度的視頻,平均生成耗時30...
智譜清影是智譜AI於2024年7月26日發布的AI視頻生成工具,基於自研CogVideoX模型開發,支持通過文本或圖片生成6秒時長、1440×960解析度的視頻,理論生成時間約30秒,並提供卡通3D、黑白、油畫、電影感等多種視覺風格及背景音樂適配功能。該工具上線於清言App的PC端、移動端及小程式端,免費向用戶開放文
模型採用混合精度量化技術,支持在消費級顯示卡部署,配合AgentTuning技術,實現智慧型體自主任務規劃與執行。2024年7月,智譜AI上線了基於自研視頻生成大模型CogVideoX的AI視頻生成功能“清影”;同年11月,“清影”升級為“新清影”。該功能可將文本到視頻的生成時間縮短至約30秒。2024年8月,智譜清言上線了視頻通話功能...
