UniDiffuser是由生數科技團隊研發並於2023年3月開源的多模態擴散大模型，其採用原創的U-ViT架構，首次將Diffusion與Transformer融合，支持圖文模態間的任意生成和轉換。該模型在大規模圖文數據集LAION-5B上訓練，參數量達近10億，驗證了U-ViT架構的大規模可擴展性。其技術比同樣採用DiT架構的Stable Diffusion 3領先一年，為後續視頻生成模型Vidu的研發奠定了基礎。
基本介紹
- 研發團隊：生數科技與清華大學聯合
- 開源時間：2023年3月
- 參數量：近10億（2023年開源版）
- 模態支持：圖文聯合生成與轉換
- 核心架構：U-ViT（Diffusion+Transformer）
- 訓練數據集：LAION-5B
技術架構,發展歷程,影響與評價,
技術架構
UniDiffuser的核心為U-ViT架構，由生數科技團隊於2022年9月提出，是全球首個將Diffusion與Transformer融合的框架。該架構通過統一建模輸入和輸出序列，實現了多模態數據的端到端處理，驗證了從文生圖擴展到圖生文、圖文改寫等功能的可行性。
發展歷程
- 2022年9月: 團隊提出U-ViT架構，早於Sora採用的DiT架構兩個月；
- 2023年3月: 開源UniDiffuser初始版本，參數量從1B逐步擴展至10B，與Stable Diffusion數據規模對齊；
- 2024年4月: 基於U-ViT架構疊代研發的視頻大模型Vidu發布，支持生成16秒1080P視頻。
