Diffusion模型

Diffusion模型，亦稱為擴散模型，是一種基於深度學習的生成式人工智慧模型。其核心思想源於非平衡熱力學，通過模擬物理擴散過程進行數據生成：在前向過程中逐步向數據添加噪聲直至完全隨機化，在反向過程中訓練神經網路學習逐步去噪，從而從隨機噪聲中重建或生成新的數據樣本。該模型最初在圖像生成領域取得突破性進展，能夠生成高質量、多樣化的圖像，代表性套用包括Stable Diffusion、DALL-E等。隨後其原理被擴展至文本、視頻、3D內容生成以及圖像修復等多個領域，成為生成式AI的重要基石之一。

基本介紹

• 中文名：Diffusion模型
• 別名：擴散模型

發展歷程

2015年，Sohl-Dickstein等人在論文《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》中首次引入了靈感源自物理學的擴散模型概念。2019年，Yang Song和Stefano Ermon在論文《Generative Modeling by Estimating Gradients of the Data Distribution》中開發了基於分數的生成模型，即噪聲條件分數網路。2020年，Jonathan Ho等人在論文《Denoising diffusion probabilistic models》（DDPM）中系統性地提出了去噪擴散機率模型，通過變分推斷最佳化，奠定了現代擴散模型在圖像生成領域的實用基礎。

2021年，Dhariwal和Nichol發表論文《Diffusion Models Beat GANs on Image Synthesis》，證明擴散模型在圖像合成質量上超越了生成對抗網路（GAN），成為新的最先進技術。同年，Song、Ermon等人進一步在論文《Score-Based Generative Modeling through Stochastic Differential Equations》中探討了基於分數和基於擴散的生成模型之間的聯繫。2022年，Rombach等人發表論文《High-Resolution Image Synthesis with Latent Diffusion Models》，提出了在潛在空間進行擴散的Latent Diffusion Model，大幅提升了生成效率。基於此的開源模型Stable Diffusion的發布，極大地推動了技術的普及和社區生態的發展。

2024年，OpenAI發布了文生視頻模型Sora，其核心技術融合了擴散模型與Transformer架構。2022年後，擴散模型的研究和套用進入爆發期，技術發展從圖像生成迅速擴展到視頻、3D、音頻、語言等多模態生成領域。同時，研究重點持續聚焦於提升採樣效率、增強生成可控性以及最佳化後訓練對齊等方面。

技術原理

擴散模型是一種基於去噪技術的生成式人工智慧模型，其核心思想是模擬一個從有序到無序，再從無序中學習如何恢復有序的過程。具體而言，它通過前向過程逐步向數據添加噪聲，將複雜的數據分布轉化為簡單的噪聲分布；再通過反向過程訓練神經網路學習逐步去噪，從而從噪聲中重建或生成新的數據樣本。

前向過程，也稱為正向擴散過程，是一個馬爾可夫鏈。該過程從原始數據開始，在設定的多個時間步內，逐步添加少量高斯噪聲。經過足夠多的時間步後，數據最終被轉化為與純隨機噪聲無法區分的狀態。噪聲的添加強度通常由一個預定義的噪聲調度控制。

反向過程，或稱去噪過程，是模型學習的關鍵。其目標是訓練一個神經網路來預測並去除前向過程中每一步所添加的噪聲。經過訓練後，模型可以從一個純隨機噪聲樣本開始，疊代地進行去噪操作，每一步都根據當前時間步和條件信息預測噪聲並減去，最終生成一個符合原始數據分布的高質量樣本。

擴散模型常採用U-Net作為其核心網路架構。U-Net是一種編碼器-解碼器結構，包含下採樣、中間層和上採樣部分，並通過跨層連線保留多尺度特徵信息。U-Net中通常還集成了注意力機制以捕捉長距離依賴關係，並引入時間嵌入將時間步編碼為向量注入網路，使模型能區分不同去噪階段。

模型的訓練目標是通過最佳化變分下界來學習去噪。在實際實現中，常採用簡化的損失函式，即最小化模型預測的噪聲與在前向過程中實際添加的真實噪聲之間的均方誤差。

為了實現對生成內容的控制，擴散模型可以擴展為條件生成模型。通過引入額外的條件信息來引導生成過程。例如，在文本到圖像生成中，常使用文本編碼器將文本提示轉換為條件向量，輸入到U-Net中，從而生成符合文本描述的圖像。分類器無關引導是一種常用的技術，用於增強條件生成的效果。

技術變體與最佳化

擴散模型在圖像生成等領域取得顯著成功後，針對其採樣速度慢、泛化到各種數據類型能力較差等問題，研究者們提出了多種技術變體與最佳化方法。

提升效率的變體

潛在擴散模型通過在低維隱空間進行擴散，提升生成效率和降低計算成本，代表作為Stable Diffusion。該模型先將輸入投影到低維隱式空間，然後在該空間中套用擴散過程，而非直接在高維像素空間操作。加速採樣方法旨在減少生成所需的疊代步數，例如DDIM通過非馬爾可夫過程減少採樣步數，實現快速生成。已有研究證明，僅使用3步DDIM的弱先驗模型也能在特定任務中實現有效重建。

擴展數據類型的變體

離散擴散模型將連續擴散過程推廣到離散數據，例如GIDD模型。GIDD推廣了掩碼擴散框架，能夠在語言建模中實現自我糾錯，提升樣本質量。

模型最佳化與控制技術

後訓練最佳化旨在解決擴散模型在下游任務適配時效率與性能的平衡問題。例如，遞歸似然比最佳化器通過半階梯度估計範式，為擴散模型後訓練提供了兼顧效率與性能的微調新方案，在文本到圖像和文本到視頻任務中表現優異。引導技術用於增強條件生成的控制能力，例如分類器無關引導允許用戶在特定引導下調節生成的圖像，是實現文本到圖像等條件生成任務的關鍵技術。

套用領域

擴散模型作為一種生成式人工智慧模型，已廣泛套用於圖像生成、自然語言生成等多個領域，在諸多套用方向中均有出色的表現。

圖像生成與編輯

擴散模型是當前文本到圖像生成任務的主流技術之一。在圖像生成與編輯領域，擴散模型能夠基於文本生成圖片，實現圖像修復、風格遷移等任務。代表產品包括Stable Diffusion、DALL-E和Midjourney等。

3D內容生成

在三維生成領域，擴散模型已經成為生成高質量3D內容的核心技術之一。其主要套用路徑包括直接在3D表示上進行擴散以及利用2D擴散模型進行知識蒸餾。

跨模態生成

在跨模態生成方面，擴散模型能夠處理文本、圖像等多模態信息，實現連貫的視覺故事合成等任務。例如，自回歸潛在擴散模型（AR-LDM）能夠根據歷史字幕和圖像，生成高質量且連貫的序列圖像。

科學計算與逆問題

擴散模型在科學計算領域被用於蛋白質設計、分子生成等前沿研究，例如基於去噪擴散機率模型（DDPM）的口腔修復體智慧型設計。同時，其強大的先驗建模能力也使其成為解決圖像復原、超解析度、去模糊等逆問題的重要工具。

文本生成

擴散模型的套用也延伸至自然語言處理領域。基於掩碼擴散或均勻狀態擴散的文本生成模型，能夠從“文字噪音”開始，通過多輪精細化處理生成連貫、有意義的文本。

重要模型與框架

Denoising Diffusion Probabilistic Models（DDPM）由Jonathan Ho等人在2020年提出，是擴散模型的奠基性工作。DDPM提出了基於變分推斷的標準訓練和採樣框架，並採用U-Net作為核心網路結構。

Stable Diffusion由Stability AI開源，基於潛在擴散模型（Latent Diffusion Model）。通過在隱空間而非像素空間進行擴散，Stable Diffusion提高了生成效率。Stable Diffusion對AI繪畫的普及和開源生態發展產生了影響。

Imagen和DALL-E系列模型分別由Google和OpenAI開發，是文生圖模型。

中文模型“太乙”由IDEA研究院CCNL團隊於2022年11月開源，是針對中文語境和文化核心進行最佳化的中文Stable Diffusion模型。“太乙”的訓練數據超過1億對中文圖文對。

HCP-Diffusion由中山大學人機物智慧型融合實驗室（HCP Lab）開源，是一個統一了多種擴散模型訓練與推理算法的通用框架。HCP-Diffusion支持LoRA、ControlNet等多種主流算法。

Sora由OpenAI開發，是一個文生視頻模型，展示了擴散模型在視頻生成領域的潛力。

所獲榮譽與影響

擴散模型在多項圖像生成基準測試中超越了生成對抗網路（GAN），成為新的性能標桿（SOTA）。2025年，在ICME（國際多媒體與博覽會議）上，有研究提出基於預訓練擴散模型的生成式圖像編碼新框架，實驗顯示在特定碼率下比H.266/VVC標準節省高達79%的碼率。

基於去噪擴散機率模型（DDPM）的項目在“第十一屆全國大學生醫學創新大賽”中獲得省級獎項。有學者評價，擴散模型借鑑物理過程在多個領域取得了顯著成果，正在重塑多個科學領域的研究範式。

研究軼事

本部分收錄擴散模型研究中一些有趣、反直覺或突破常規認知的發現與案例。

在最佳化初始噪聲的框架下，使用僅在LSUN-bedroom數據集上訓練的3步DDIM擴散模型成功重構了CelebA-HQ數據集中的人臉圖像。當觀測數據本身提供足夠充足的信息時，重建過程將由觀測驅動而非先驗驅動，因此模型對先驗的強弱和匹配度表現出顯著的不敏感性。

最新提出的離散擴散模型GIDD在語言建模中實現了自我糾錯，無需強化學習等後訓練。GIDD模型能夠在未經訓練的情況下糾正語法錯誤、改進辭彙選擇，甚至提升事實準確性，在實驗中將樣本質量（生成困惑度，PPL）最高提升了55%。

自回歸潛在擴散模型首次成功利用擴散模型進行連貫的視覺故事合成。該模型在故事可視化（從字幕生成全部5幀）和故事延續（給定第一幀生成後續4幀）任務中，在PororoSV、FlintstonesSV等數據集上均取得了SOTA性能，例如在PororoSV上FID分數相對之前的方法提高了70%。