基本介紹
- 外文名：Diffusion Transformer
- 別名：DiT
基本含義,發展歷程,基本特徵,相關研究,
基本含義
Diffusion Transformer（簡稱DiT）是一類新的基於Transformer的擴散模型，其核心是用Transformer架構替換了傳統擴散模型中的U-Net主幹網路，旨在利用Transformer的可擴展性來提升模型效率與生成性能。該架構概念由William Peebles和謝賽寧（Saining Xie）在2022年共同提出。DiT作為基礎架構，在後續的Sora視頻生成模型中起到了關鍵作用，Sora在DiT的基礎上引入了時空塊（spacetime patches）來處理視頻數據。
發展歷程
2022年12月，紐約大學的謝賽寧與當時在Meta實習的William Peebles在其論文《Scalable diffusion models with transformers》中正式提出Diffusion Transformer（DiT）的概念。該研究首次系統地探索了用Vision Transformer（ViT）風格的架構構建擴散模型，並發布了DiT-S、DiT-B、DiT-L和DiT-XL等一系列不同規模的模型配置。其中，DiT-XL/2模型在ImageNet圖像生成任務上取得了當時最佳的FID分數（2.27）。
2024年2月，OpenAI發布的視頻生成模型Sora，其技術架構被認為是在DiT基礎上的演進。Sora借鑑了ViViT的思路，將時空塊引入到DiT模型的輸入中，實現了擴散模型、Transformers和時空潛在塊三者的融合。
2024年5月，研究者提出了Flag-DiT，通過用RoPE替換絕對位置編碼（APE）等方式改進DiT，增強了模型處理任意解析度和規模的能力，並成功將參數規模擴展到7B。同年11月，北京大學和華為的研究者提出了U-DiT，重新將U-Net的降採樣思想與Transformer結合，在圖像生成任務上取得了優於原始直筒型DiT的效果。
2025年6月，研究者提出了一種名為“嫁接”（Grafting）的技術，允許在不從頭訓練的情況下，通過編輯預訓練的DiT來探索新的模型架構設計（如用更高效的運算元替換注意力或MLP層），在極小計算成本下實現了性能與效率的良好權衡。這為DiT架構的快速疊代和定製化提供了新思路。
基本特徵
Diffusion Transformer（DiT）是一種結合了擴散模型去噪過程和Transformer架構的生成模型，其核心特徵是利用Transformer替換了傳統擴散模型（如U-Net）中的骨幹網路。這代表了擴散模型主幹架構的一個關鍵範式轉變。
DiT遵循Transformer的縮放定律，參數規模越大、訓練數據量越多、計算資源投入越大，其生成效果（如圖像質量FID）通常越好。這使其突破了此前U-Net架構在模型規模擴展上的部分限制，能夠構建參數多達數十億的模型（如Flag-DiT從600M擴展到7B）。
DiT採用標準Transformer結構，依賴其核心的全注意力（或高效注意力）機制來建模圖像或視頻Patch（Token）之間的全局或長程依賴關係，替代了U-Net中的卷積操作。為了處理視覺數據，輸入（如圖像或視頻幀的隱空間表示）首先被分割為時空Patch，並通過一個稱為“patchify”的線性嵌入層轉化為Token序列。為了保持空間和時序信息，DiT使用位置編碼（如絕對位置編碼APE）。後續改進（如Flag-DiT）使用RoPE位置編碼以提高對訓練外解析度的泛化能力。
後期研究出現了多種旨在提升性能、穩定性或適用範圍的DiT變體。U-DiT重新引入了U-Net的下採樣-上採樣結構，與Transformer結合，在生成質量上超越了直筒型DiT。Flag-DiT通過整合RoPE位置編碼、RMSNorm等技術，提升了訓練穩定性與模型性能，並支持更大規模的參數擴展。SpectDiT是一種將頻譜層與注意力層結合的新型架構，在頻域引入特徵建模，在特定圖像生成任務上表現出優越性能。
相關研究
在訓練最佳化方面，中國人民大學與位元組跳動的研究團隊將大語言模型訓練中的μP（Maximal Update Parametrization）理論擴展到Diffusion Transformer的訓練中，實現了不同規模模型間超參數的穩定遷移，使得在小代理模型上搜尋到的超參數可直接用於訓練最終的大模型，有助於降低超參數搜尋的成本。實驗表明，該方法在DiT-XL/2模型上可將收斂速度提升至原方法的2.9倍，在PixArt-α和MMDiT等大規模文生圖模型上也驗證了其有效性。
在歸一化改進方面，研究團隊在ImageNet圖像生成任務中對比了LayerNorm、DyT和Derf等歸一化方法，結果顯示Derf在所有DiT模型規模下都能獲得更低的FID分數。
在新架構探索方面，有研究提出SpectDiT，一種將頻譜層與Transformer注意力層相結合的擴散模型架構，專門用於提升SAR艦船圖像的生成質量與真實性，在多項指標上表現較好。
在高效的架構探索方法方面，史丹福大學等機構的研究者提出了一種名為“嫁接”的技術，該方法允許通過編輯預訓練DiT的計算圖來探索新的混合架構設計，而無需從頭訓練。這種方法以較少計算資源實現接近甚至優於原始模型的生成質量。
