擴散語言模型（Diffusion Language Models， dLLM）是一類採用並行去噪方式進行文本生成的人工智慧模型，其通過從噪聲中並行產生整個文本來實現快速生成，並被認為在高質量數據稀缺時可能具有“超級數據學習者”的特性。
研究出現了從自回歸模型向擴散模型轉換的路徑，並成功擴展了模型規模。同期，擴散語言模型在代碼生成等任務上的性能開始超越同規模自回歸模型。針對其生成過程的最佳化方法，如Temporal Self-Consistency Voting，也被提出以提升模型表現。有理論分析指出，擴散語言模型在序列級別準確性要求極高的任務中可能面臨效率挑戰。
基本含義,基本特徵,套用,影響,相關研究,
基本含義
擴散語言模型（dLLM）的核心生成機制為疊代去噪，採用並行生成Token的方式。這與自回歸模型（AR）從左到右逐詞串列生成的方式有根本區別。一個直觀的比喻是：自回歸模型像是一個人在打字，必須打完上一個字才能打下一個；而擴散模型更像是在沖洗一張照片，整段文字從模糊的噪聲中同時顯現，經過數次“去噪”疊代後變得清晰。
基本特徵
擴散語言模型的核心機制是並行生成，與自回歸模型那種“一個字接一個字”的串列生成不同，其整段文字從模糊的噪聲中同時顯現，經過數次“去噪”疊代後變得清晰。
擴散語言模型具有並行生成帶來的潛在推理速度優勢。當高質量數據稀缺時，通過多輪次訓練，擴散語言模型的表現能持續超越自回歸模型，後者則容易過擬合，這一現象源於其任意順序建模、超高密度計算和內置的蒙特卡洛增強特性。
由於並行生成的特性，擴散語言模型難以原生支持需要中間互動的工具調用任務。為達到高序列準確性，擴散語言模型可能需要較多的去噪步數，這可能抵消其並行生成帶來的速度優勢，甚至在某些對序列準確性要求高的任務中效率不如自回歸模型。
擴散語言模型的生成過程包含多輪中間疊代結果，這些時序信息中蘊含了豐富的語義與推理線索，可被用於最佳化最終輸出，例如通過時序自一致性投票等方法提升推理任務性能。
套用
擴散語言模型（dLLM）憑藉其並行生成、疊代去噪等特性，在多個套用領域展現出與傳統自回歸模型不同的優勢與潛力。其套用主要集中在代碼生成與編輯、數學與邏輯推理、長文本與創意寫作以及智慧型體任務等方面，同時在複雜工具調用等場景中存在固有局限。
代碼生成是dLLM表現較為突出的領域之一。通過合理的訓練設計，dLLM在代碼任務上可以超越同規模的自回歸模型。例如，LLaDA2.0-flash（100B）在HumanEval、MBPP等代碼基準測試中取得了顯著優勢。更具體地，Stable-DiffCoder（8B）在完全復用其自回歸原型架構和數據的條件下，通過擴散訓練範式，在MBPP、BigCodeBench等多個主流代碼榜單上不僅超越了原型，還領先於其他同規模開源模型，在代碼編輯（CanItEdit）任務上也表現出了優勢，證明了擴散訓練本身可作為強大的表征學習與數據增強手段。
在數學與邏輯推理任務上，dLLM通過利用其生成過程中的時序信息，性能可獲得有效提升。dLLM在推理過程中存在“先對後錯”的現象。針對此，通過Temporal Self-Consistency Voting和Temporal Consistency Reinforcement等方法，利用中間疊代結果的時序一致性進行最佳化，能在GSM8K、MATH等數據集上帶來顯著的性能提升。
得益於並行生成和高吞吐的特性，dLLM適用於對文本流暢性要求高、且能夠容忍少量序列級別錯誤的場景，例如長篇幅的創意寫作。理論分析指出，在此類場景下，dLLM能夠展現出相對於自回歸模型的效率優勢。
dLLM在智慧型體任務上的套用呈現差異化表現。在編碼相關的智慧型體評測（如BFCL）中，大規模dLLM已展現出顯著優勢。然而，由於其並行生成整個回響的機制，dLLM難以在生成過程中原生地暫停以調用外部工具並等待結果，這使得其在需要複雜鏈式工具調用的通用智慧型體任務上存在先天缺陷。
影響
dLLM推動了生成式AI模型架構的多元化發展。通過“自回歸到擴散”（A2D）轉換或分段式訓練體系，可以將成熟的AR大模型平滑過渡到擴散框架。這證明擴散範式與自回歸範式並非簡單的替代關係，而是可以串聯、融合、相互繼承，為模型演進提供了新的思路。
dLLM為應對高質量訓練數據枯竭問題提供了新思路。當高質量數據稀缺時，擴散模型展現出“超級數據學習者”的特性。與AR模型在多輪訓練後易過擬合不同，擴散語言模型在有限數據下進行多輪訓練時，其下游任務表現仍能持續提升。
dLLM的進展促使業界重新評估文本生成模型在效率、質量與靈活性之間的權衡。例如，在代碼生成等特定領域，擴散訓練範式本身被證明是一種強大的表征學習與數據增強手段，使模型性能能夠超越同規模的自回歸模型。dLLM在需要高序列級準確性的任務中，為達到低錯誤率所需的成本可能抵消其並行生成的優勢。
dLLM的未來發展仍需解決一系列核心挑戰。其並行生成的特性導致難以原生地整合工具調用，這限制了其作為智慧型體的套用潛力。同時，提升生成質量與序列級準確性所需的去噪步數成本，也是其走向更廣泛套用需克服的障礙。未來的研究可能集中在最佳化推理策略、改進訓練方法以及探索更高效的架構融合路徑上。
相關研究
擴散語言模型（dLLM）自2025年以來，在理論探索、訓練方法及模型能力方面取得了一系列研究進展。
在理論分析方面，2025年6月發表的論文《Theoretical Benefit and Limitation of Diffusion Language Model》從理論角度分析了dLLM在詞元級與序列級錯誤率上的效率差異，指出其在追求高吞吐量場景下的優勢，以及對序列準確性要求極高時可能面臨的效率挑戰。同年11月的論文《Diffusion Language Models are Super Data Learners》則揭示了dLLM在高質量數據稀缺時的潛力，理論分析表明，當進行多輪訓練時，dLLM的表現可能超越自回歸模型，這一“交叉點”現象為數據受限下的模型訓練提供了新思路。
在訓練方法與模型擴展方面，多項研究驗證了從成熟自回歸模型向dLLM轉換的可行性。2025年10月發布的RND1模型（30B參數）系統性研究了自回歸到擴散（A2D）的轉換過程，證明了在不推倒重來的情況下探索新訓練範式的可行性。同年12月，LLaDA2.0系列模型提出了分段式訓練體系，成功將模型規模平滑擴展至百億參數（LLaDA2.0-flash，100B），並在多項評測中媲美強自回歸模型，標誌著dLLM擴展路徑的重要突破。
在模型能力與最佳化方面，研究不斷推高dLLM的性能上限。2025年8月的研究《Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models》提出了利用dLLM中間疊代結果提升推理性能的時序一致性方法，在數學與邏輯推理任務上取得了顯著效果。2026年2月發布的Stable-DiffCoder模型進一步證明，通過合理的訓練設計，擴散訓練範式本身可作為強大的表征學習手段，使其在代碼生成質量上反超了自回歸原型及同類模型，打破了擴散模型僅能加速生成的刻板印象。
