CogView3是智譜技術團隊與清華大學研究團隊提出的、基於級聯擴散的文本到圖像生成模型，其採用中繼擴散框架。在人工評估中，CogView3的性能比開源模型SDXL高出77.0%，推理時間僅為後者的1/2，其生成效果與DALL·E 3相當。
智譜團隊於2024年開源了CogView3及CogView3-Plus-3B模型，模型採用Apache 2.0協定。CogView3-Plus-3B是其基於DiT框架的版本。
基本介紹
- 外文名：CogView3
- 開發團隊：智譜技術團隊
研發背景,模型介紹,運營模式,核心團隊,重要事件,
研發背景
文生圖系統的最新進展主要是由擴散模型推動的，但單級文本到圖像擴散模型在計算效率和圖像細節細化方面仍面臨挑戰，為此，來自清華大學和智譜AI的研究團隊提出了CogView3——一個能提高文本到圖像擴散性能的創新級聯框架。
CogView3是第一個在文本到圖像生成領域實現中繼擴散（relay diffusion）的模型，它通過首先創建低解析度圖像，然後套用中繼超解析度來執行任務，旨在產生有競爭力的文本到圖像輸出並降低訓練和推理成本。
CogView系列模型（CogView、CogView2、CogView3）從2021年開始研發，幾乎與DALL·E系列模型同期推出。2024年，CogView3的發布也旨在補齊智譜AI在多模態能力方面的短板。
模型介紹
據介紹，CogView3 是一個基於級聯擴散的 text2img 模型，其包含如下三個階段：
第一階段：利用標準擴散過程生成 512x512 低解析度的圖像。
第二階段：利用中繼擴散過程，執行 2 倍的超解析度生成，從 512x512 輸入生成 1024x1024 的圖像。
第三階段：將生成結果再次基於中繼擴散疊代，生成 2048×2048 高解析度的圖像。
官方表示，在實際效果上，CogView3 在人工評估中比目前最先進的開源文本到圖像擴散模型 SDXL 高出 77.0%，同時只需要 SDXL 大約 1/10 的推理時間。
運營模式
CogView3於2024年9月開源，代碼和模型依據Apache 2.0許可證發布。開原始碼倉庫位於GitHub（THUDM/CogView3）和Hugging Face（ZhipuAI/CogView3-Plus-3B）。模型功能已集成至「智譜清言」App及chatglm.cn平台，可供用戶線上體驗。智譜AI提供建議和工具幫助用戶最佳化提示詞，以降低模型使用門檻。
核心團隊
CogView3由清華大學和智譜AI的研究團隊共同研發。根據其開源論文，模型的主要作者包括Wendi Zheng, Jiayan Teng, Zhuoyi Yang, Weihan Wang, Jidong Chen, Xiaotao Gu, Yuxiao Dong, Ming Ding, Jie Tang。
重要事件
2024年9月29日，智譜技術團隊開源了CogView3及CogView3-Plus-3B的代碼和模型。同年10月14日，團隊正式宣布了這一開源訊息，並將相關功能集成至「智譜清言」App。此次開源的模型均採用Apache 2.0開源協定。截至2025年3月24日，其後續項目GitHub倉庫（CogView4）的更新信息中仍提及CogView3已開源。
