技術原理
混元圖像2.1採用兩階段架構,第一階段是基礎文本到圖像模型,第二階段是精修模型用於提升圖像質量和清晰度。基礎模型採用了32倍壓縮倍率的變分自編碼器(VAE)以減少計算量,並通過
DINOv2對齊和REPA損失來降低訓練難度。其配備了雙文本編碼器:一個多模態大語言模型(MLLM)編碼器用於提升圖像與文本描述的語義對齊能力;另一個多語言、字元感知的ByT5編碼器用於增強對各種語言的文本渲染能力。該階段基於170億參數的單流和雙流結合的擴散變換器(DiT)。為了最佳化美學和結構連貫性,模型套用了基於人類反饋的強化學習(
RLHF)。
模型使用了訓練數據及結構化、不同長度的圖文對齊標註來提升對文本描述的理解能力。在標註中引入了OCR專家模型和IP RAG(檢索增強生成)專家模型,以增強對密集文本的識別和對世界知識的理解能力,其中OCR信息採用了雙向驗證策略確保標註準確性。模型開發了性能增強模組,包括系統化、工業級的中英文改寫模型提示詞增強(PromptEnhancer),用於對用戶文本指令進行結構化最佳化以豐富視覺表達。此外,提出了一種基於均值流(MeanFlow)的新型蒸餾方法,解決了訓練不穩定的問題,成功將模型推理步數從100步蒸餾至8步,提升推理速度。
套用
混元圖像2.1為設計師、插畫師等視覺創作者提供支持,幫助將創意轉化為畫面。該模型支持生成創意插畫、製作包含中英文宣傳語的海報和包裝設計,以及四格漫畫與連環畫等視覺場景。
混元圖像2.1是開源的基座模型,其模型權重和代碼已在
Hugging Face、GitHub等開源社區發布,開發者可基於此模型進行研究或開發衍生模型與外掛程式。
影響
混元圖像2.1於2025年9月發布並開源後,在社區和業界產生了影響。開源後,模型在
Hugging Face模型熱度榜上熱度迅速攀升,一度成為全球第三熱門模型,並在趨勢榜上拿下第一名。
作為一款全面開源的基座模型,其權重和代碼在
Hugging Face、GitHub等平台發布,為個人和企業開發者提供了研究基礎。該模型對視覺創作者如設計師、插畫師提供了高效支持,能夠幫助他們將創意快速轉化為高質量畫面,適用於生成創意插畫、包含中英文宣傳語的海報和包裝設計,以及複雜的連環畫等多種場景。
在技術評測方面,根據結構化語義對齊評估(SSAE),混元圖像2.1在語義對齊上的表現達到了開源模型中的最優效果,並且非常接近GPT-Image等閉源商業模型。根據GSB(Good Same Bad)評測,其圖像生成質量與閉源商業模型Seedream3.0相當,同時相較於同類開源模型
Qwen-Image展現出優勢。
相關研究
為量化評估模型的圖文語義對齊能力,其研究團隊提出了基於多模態大語言模型(MLLM)的SSAE(結構化語義對齊評估)評測指標,該指標將評測題目按類目提取要點,並藉助MLLM自動比對圖像內容與要點進行評分。
同步開源了一個中英文提示詞改寫模型——混元文本改寫模型(PromptEnhancer),該模型通過結構化地重寫用戶文本指令以豐富視覺表達,並採用細粒度的AlignEvaluator獎勵模型來提升生成圖像的語義表現。
在17B參數量級的模型上,成功套用了基於MeanFlow的新型蒸餾方法,解決了標準均值流訓練固有的不穩定性和低效率問題,將模型推理步數由100步蒸餾到8步,顯著提升了推理速度。