OmniGen2是北京人工智慧研究院推出的多模態生成模型,由吳晨原、鄭鵬飛、閆瑞然、肖世濤等研究人員共同開發,研究成果於2025年6月發表於論文《OmniGen2: Exploration to Advanced Multimodal Generation》。該模型採用雙路徑架構實現文本與圖像模態的獨立處理,並通過自我反思機制最佳化生成結果。研究團隊開發OmniContext評測體系,使用GPT-4.1評估顯示,模型在文本圖像對齊度提升8.6%,視覺一致性超越開源模型15%,綜合得分7.18分位列榜首。模型支持文本生成圖像、圖像編輯及任意比例生成功能,基於FlagScale框架實現32%推理效率提升。2025年7月開源後,GitHub星標一周內突破2000,其反思功能存在'過度修正'現象。
基本介紹
- 外文名:OmniGen2
- 發布時間:2025年6月
模型簡介,發展歷程,功能成效,測試評估,未來展望,問題解答,
模型簡介
OmniGen2如同全能大廚,用"雙廚房"設計實現文字與圖像的完美分工,搭配自我反思能力和新鮮數據供應鏈,在開源模型中創下情境理解新高度。
與之前的版本OmniGen相比,OmniGen2採用了一種全新的"雙廚房"設計理念。傳統的方法就像讓同一個廚師既要處理文字選單又要製作圖像菜品,結果往往顧此失彼。而OmniGen2則設定了兩個專門的工作檯:一個專門處理文字理解和生成,另一個專門負責圖像創作。更令人驚喜的是,OmniGen2還具備了"自我反思"的能力。
發展歷程
2025年6月,OmniGen2論文發布,標題為《OmniGen2: Exploration to Advanced Multimodal Generation》。
功能成效
與之前的版本OmniGen相比,OmniGen2採用了一種全新的"雙廚房"設計理念。傳統的方法就像讓同一個廚師既要處理文字選單又要製作圖像菜品,結果往往顧此失彼。而OmniGen2則設定了兩個專門的工作檯:一個專門處理文字理解和生成,另一個專門負責圖像創作。這種分工讓每個部分都能發揮最佳水平,就像讓專業的麵點師傅專心做麵食,讓炒菜師傅專心掌勺一樣。
更令人驚喜的是,OmniGen2還具備了"自我反思"的能力。當它生成一張圖像後,能夠像經驗豐富的大廚一樣品嘗自己的作品,發現不足之處並主動改進。
測試評估
為了全面評估這種"情境理解"能力,研究團隊還專門設計了一套名為OmniContext的評測標準。這就像為大廚設計了一套全面的烹飪考試,包含了人物、物品、場景等各種複雜情況的測試。結果顯示,OmniGen2在這些測試中表現優異,特別是在保持角色一致性方面達到了開源模型中的最高水平。
評測過程採用了GPT-4.1作為"考官"。這個AI考官會從兩個維度打分:一是"指令遵循度",看生成的圖像是否按照要求完成了任務;二是"主體一致性",檢查生成圖像中的人物或物體是否與參考圖像保持一致。這種評測方式比傳統的數值指標更接近人類的判斷標準。
測試結果顯示,OmniGen2在這套嚴格的考試中表現出色,總分達到7.18分(滿分10分),在開源模型中排名第一。特別值得一提的是,OmniGen2在處理多對象組合任務時表現尤為突出,展現了優秀的"情境理解"能力。
未來展望
OmniGen2的發布標誌著多模態AI發展的一個重要里程碑,但OmniGen2更像是一個新起點而不是終點。研究團隊在論文中坦誠地分析了當前的限制,並指出了未來的發展方向。
問題解答
Q1:OmniGen2相比其他AI圖像生成工具有什麼特別之處? A:OmniGen2最大的特點是"一個模型搞定所有任務",它可以同時進行文字轉圖像、圖像編輯、情境生成等多種任務,而不需要切換不同的工具。更重要的是,它具備自我反思能力,能發現生成圖像的問題並自動改進,這是其他工具很少具備的功能。
Q2:普通用戶能直接使用OmniGen2嗎?使用門檻高不高? A:是的,OmniGen2是完全開源的,普通用戶可以通過GitHub倉庫下載使用。不過目前主要面向有一定技術基礎的用戶,需要自己搭建運行環境。對於沒有技術背景的用戶來說,可能需要等待基於OmniGen2開發的更友好的套用產品。
Q3:OmniGen2的反思功能是如何工作的?會不會出錯? A:反思功能讓OmniGen2在生成圖像後自動檢查結果是否符合要求,如果發現問題(比如數量不對、顏色錯誤),會自動重新生成。不過這個功能也有局限性,有時會出現"過度反思"的情況,對本來正確的結果提出不必要的修改建議。
