平台簡介
智譜清影是智譜AI於2024年7月26日發布的AI視頻生成工具。該工具基於自研CogVideoX模型,支持文生視頻和圖生視頻功能。其底層CogVideoX模型採用DiT架構,融合文本、時間、空間三維數據。2025年1月,智譜清影發布2.0版本,最佳化了畫面主體運動控制及指令理解能力,並開放了API接口。後續版本支持生成更長時長、更高解析度與幀率的視頻,並增加了音效生成功能。該工具與“捏Ta”平台存在合作。
核心功能
AI文生視頻:輸入文本自動生成動態視頻
AI圖生視頻:上傳圖片轉換為動態視頻
多風格渲染:支持卡通3D/油畫等風格
智慧型配樂:自動匹配背景音樂
老照片修復:靜態照片動態化處理
研發背景
2024年7月26日,智譜AI正式發布視頻生成大模型產品——
清影(Ying),標誌著智譜AI正式入局文生視頻及圖生視頻賽道。
智譜AI在
CogVideoX上進行了多項自研改進。在數據層面,使用視頻理解模型
CogVLM2-Video將大量視頻變成適合做文生視頻訓練的素材。在算法層面,自研了高效三維變分自編碼器結構(3D VAE),可對視頻進行強力壓縮,僅相當於原視頻大小的2%。在模型架構層面,自研了一個將文本、時間、空間融合起來的transformer架構,摒棄了傳統的cross attention模組,在輸入階段就將文本嵌入和視頻嵌入連線起來以便更充分地進行兩種模態的互動。智譜AI承認其“
清影”與世界頂級水平(如OpenAI Sora)在效果上存在差距,並將其定位為一個初步的階段性成果。
發展歷程
2024年7月26日,清影在智譜清言的PC端、移動套用端以及小程式端正式上線,所有用戶均可免費體驗AI文本生成視頻和圖像生成視頻的服務。
2024年11月8日,智譜清影迎來升級,支持生成10秒、4K、60幀超高清視頻,並預告音效生成功能即將上線。
2025年1月21日,清影2.0版本發布,模型性能大幅提升,重點最佳化了動作連貫性與指令遵循能力。
2026年2月10日,“新清影”上線,支持4K60幀視頻生成與AI音效,並宣布開源CogVideoX v1.5模型。
核心技術
智譜清影基於智譜AI自研的視頻生成大模型
CogVideoX開發,其後續疊代版本為CogVideoX v1.5。該模型採用DiT (Diffusion Transformer) 架構,智譜自研了一個將文本、時間、空間三個維度全部融合起來的Transformer架構,其注意力模組採用了3D全注意力機制,位置編碼模組設計了3D RoPE。
支撐模型效果的關鍵技術包括智譜自研的高效三維變分自編碼器結構(3D VAE)、因果三維卷積(Causal 3D convolution)以及端到端的視頻理解模型。
通過最佳化,CogVideoX相比前代CogVideo推理速度提升了6倍。在2026年,其支持生成10秒、4K解析度、60幀的視頻。2026年2月,智譜宣布開源CogVideoX v1.5模型。
智譜清影集成了自研的AI音效模型CogSound,可根據視頻內容生成匹配音效。
運營模式
智譜清影面向個人用戶(C端)提供免費服務,所有用戶均可通過智譜清言App免費體驗文生視頻和圖生視頻功能,但生成視頻通常需要排隊等待。為提升體驗,平台提供付費加速服務,用戶可通過購買加速權益來縮短視頻生成的排隊時間。
對於企業開發者(B端),智譜AI通過其大模型開放平台提供清影API服務,同時也提供不同規格的資源包供企業購買。
在合作與支持方面,清影的研發得到了bilibili、華策影視等合作夥伴的參與,共同探索技術研發與套用場景,其模型訓練所依賴的算力則主要依託北京亦莊人工智慧公共算力平台(亦莊高性能算力集群)提供支持。
核心團隊
智譜AI CEO張鵬在2024年7月26日的智譜Open Day上宣布AI生成視頻模型清影(Ying)正式上線。
張鵬曾表示智譜清影的商業化還處於早期,更多是通過API進行付費,並承認清影與
Sora存在差距,是一個初步的階段性成果。
重要事件
2024年7月26日,智譜AI在Open Day上正式發布視頻生成大模型產品清影(Ying),該產品面向所有用戶全量上線。
2025年1月21日,北京智譜華章科技宣布旗下AI視頻生成產品清影2.0正式上線並迎來重大更新,該版本重點最佳化了畫面主體運動控制及指令理解能力,並開放了API接口供開發者調用。
2026年2月10日,智譜AI上線支持4K、60幀視頻生成的“新清影”,並宣布開源其底層模型CogVideoX v1.5。