基本介紹
- 外文名：CogView3-Plus-3B
- 研發團隊：智譜技術團隊
- 產品類型：文生圖模型
發展歷程,研發背景,核心技術,技術規格,使用與部署,前提與限制,安裝與獲取,快速開始,性能最佳化,開源信息,市場反響,
發展歷程
2024年9月29日，智譜技術團隊在ECCV大會上宣布開源其文本到圖像生成模型CogView3。同年10月11日，智譜技術團隊完成了CogView3-Plus-3B模型的Diffusers版本適配。2024年10月14日，智譜技術團隊宣布開源文生圖模型CogView3及CogView3-Plus-3B。該系列模型的能力已經上線“智譜清言”App。
研發背景
CogView3-Plus-3B是智譜技術團隊於2024年10月14日開源的新一代文本到圖像生成模型，支持從512到2048像素解析度的靈活生成。該模型在CogView3（ECCV 2024）的基礎上引入了最新的DiT框架，以實現整體性能的進一步提升。其採用Zero-SNR擴散噪聲調度，並引入了文本-圖像聯合注意力機制，與常用的MMDiT結構相比，在保持模型基本能力的同時，有效降低訓練和推理成本。CogView3在人工評估中比SDXL高出77.0%，推理時間僅為後者的1/10。
核心技術
CogView3-Plus模型則在CogView3（ECCV'24）的基礎上引入了最新的DiT框架，以實現整體性能的進一步提升。據介紹，其採用Zero-SNR擴散噪聲調度，並引入了文本-圖像聯合注意力機制。與常用的MMDiT結構相比，它在保持模型基本能力的同時，有效降低訓練和推理成本。CogView-3Plus使用潛在維度為16的VAE。
圖像生成過程分為三個階段：第一階段利用標準擴散過程生成512x512低解析度圖像；第二階段通過中繼擴散過程執行2倍超解析度，從512x512輸入生成1024x1024圖像；第三階段再次基於中繼擴散疊代生成2048×2048高解析度圖像。
技術規格
CogView3-Plus-3B模型的參數量為3B，存儲空間占用約25.56GB，支持生成的圖像寬度和高度在512px至2048px範圍內，且必須能被32整除。在A100設備上測試，其推理速度為1秒/步，計算精度支持BF16和FP32，為避免溢出導致生成全黑圖像，不支持FP16精度。
在A100設備上，以batchsize=1、BF16精度進行測試，不同解析度下的顯存占用情況如下：512×512解析度下占用19GB，720×480解析度下占用20GB，1024×1024解析度下占用23GB，1280×720解析度下占用24GB，2048×2048解析度下占用25GB。
模型的生成流程採用三階段生成：第一階段利用標準擴散過程生成512×512圖像；第二階段利用中繼擴散過程進行2倍超解析度，生成1024×1024圖像；第三階段再次基於中繼擴散疊代，生成2048×2048圖像。
模型的提示詞編碼器為T5-XXL，提示詞語言為英語，提示詞長度限制為224個token。
使用與部署
前提與限制
CogView3-Plus-3B對生成圖像的解析度有明確限制，其寬和高必須在512px至2048px範圍內，且必須能被32整除。模型推理支持BF16和FP32精度，但不支持FP16，因為使用FP16會導致溢出並生成全黑圖像。模型僅支持英語提示詞，且提示詞長度限制為224個token。在A100設備上，以batchsize=1和BF16精度進行測試時，常見解析度下的顯存占用情況為：512*512解析度占用19GB，1024*1024解析度占用23GB，2048*2048解析度占用25GB。
安裝與獲取
使用前需從源碼安裝diffusers庫，安裝命令為。模型可從Hugging Face平台的ZhipuAI/CogView3-Plus-3B倉庫或ModelScope平台獲取。
快速開始
用戶可通過Python代碼快速使用模型，首先導入並載入模型：。隨後設定英文提示詞（prompt），並調用生成函式，可設定參數如guidance_scale=7.0、num_inference_steps=50、width=1024、height=1024等。最後保存生成的圖像。
性能最佳化
為降低推理時的記憶體消耗，可啟用模型CPU卸載功能，代碼為。同時可啟用VAE切片與分塊功能，代碼為。
開源信息
智譜AI（亦稱智譜技術團隊或清華大學團隊）於2024年10月14日宣布開源其文生圖模型CogView3-Plus-3B。此前，智譜AI已於2024年9月29日在ECCV大會上宣布開源CogView3模型，並於2024年10月11日完成了CogView3-Plus-3B模型的Diffusers版本適配。該模型依據Apache 2.0許可證發布。
模型已發布於Hugging Face、ModelScope等平台。根據模型倉庫信息，其最新版本於2026年1月20日更新。
市場反響
2024年10月，智譜AI開源了CogView3-Plus-3B模型。
CogView3在人工評估中比當時最先進的開源文本到圖像擴散模型SDXL高出77.0%，同時推理時間約為SDXL的1/10。其開源是文本到圖像生成領域的一項進展，該技術的套用場景包括創意設計、虛擬現實、遊戲開發等領域，對AI圖像生成領域的發展有所貢獻。
該模型的能力已在相關套用中實現。模型遵循Apache 2.0協定開源，發布在GitHub、Hugging Face、ModelScope等平台。
