Self Forcing是由Adobe聯合德克薩斯大學奧斯汀分校的研究者於2025年提出的一種用於自回歸視頻擴散模型的新穎訓練算法。該算法旨在解決自回歸視頻生成中的暴露偏差問題。
其核心思想是在訓練階段採用與推理時相同的自回歸展開方式生成視頻，迫使模型基於自身先前生成的幀來預測下一幀，從而彌合訓練與測試分布之間的差距。
通過結合梯度截斷、動態步數採樣及滾動KV快取等技術，該算法能夠在單個GPU上實現亞秒級延遲的實時流視頻生成。
基本含義,發展歷程,基本特徵,套用,相關研究,
基本含義
Self Forcing是一種用於自回歸視頻擴散模型的全新訓練範式。該方法由Adobe聯合德克薩斯大學奧斯汀分校的研究者於2025年提出。Self Forcing旨在解決自回歸視頻生成中長期存在的暴露偏差問題，即訓練（依賴真實幀）與推理（依賴模型自身輸出）之間的分布差距問題。該模型能夠在單個GPU上實現亞秒級延遲的實時流視頻生成，同時達到甚至超越速度明顯較慢的擴散模型的生成質量。
發展歷程
Self Forcing的技術思想受到早期RNN時代序列建模技術的啟發。2025年，Adobe聯合德克薩斯大學奧斯汀分校的研究者提出了名為Self Forcing的新穎算法，旨在解決自回歸視頻生成中的暴露偏差問題，相關研究成果以論文《Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion》的形式正式發布。
該模型能夠在單個GPU上實現亞秒級延遲的實時流視頻生成。具體而言，採用Self Forcing的模型在單個H100 GPU上以17 FPS的幀率實現實時視頻生成，延遲低於一秒。2025年，Self Forcing因實現亞秒級延遲的實時視頻生成而在相關學術領域受到關注，例如在ACL 2025上。
基本特徵
Self Forcing的核心思想是在訓練階段就採用與推理時相同的自回歸展開方式生成視頻，以彌合訓練與測試分布之間的差距。
該方法包含兩大關鍵技術突破：一是動態條件生成機制，在生成每一幀時，會動態結合過去時間步已生成的清晰幀和當前時間步的噪聲幀，並通過疊代去噪完成生成；二是創新性地在訓練階段引入KV快取機制。
為應對計算挑戰，該方法採用了多項訓練效率最佳化策略，包括梯度截斷、動態步數採樣以及梯度流隔離。
此外，受大語言模型啟發，該方法還採用了滾動KV快取機制，通過維護固定大小的快取區進行滾動更新，以實現無限長視頻外推。
套用
Self Forcing作為一種創新的訓練範式，其主要套用目標在於實現高質量、低延遲的實時視頻生成。該模型能夠在單個GPU上實現亞秒級延遲的實時流視頻生成。
在性能表現上，採用Self Forcing的模型能夠在單個H100 GPU上以17 FPS的幀率實現實時視頻生成，延遲低於一秒。首幀延遲約為0.8秒。在持續生成速率方面，單塊H100 GPU約為17幀每秒，單塊RTX 4090在最佳化後約為10幀每秒。
研究者採用Wan2.1-T2V-1.3B模型實現Self Forcing，這是一個基於流匹配的模型，可以生成時長5秒、16幀、解析度為832×480的視頻。目前可以生成基礎的5秒視頻以及外推延展後更長的10秒視頻。
基於其低延遲和高幀率的特性，Self Forcing特別適合對延遲敏感的實時套用場景。該方案能實現17幀/秒的實時吞吐量，配合亞秒級首幀延遲，足以支持直播等實時視頻流套用場景。
相關研究
Self Forcing的研究基於Wan2.1-T2V-1.3B模型實現，這是一個基於流匹配的模型，可以生成時長5秒、16幀、解析度為832×480的視頻。
為驗證其有效性，研究將採用Self Forcing的模型與多個開源視頻生成基線模型進行了對比實驗，包括兩個擴散模型和多個自回歸模型。
實驗結果表明，研究者提出的分塊自回歸方案在VBench評估中全面超越所有基線模型，同時在人類偏好度測試中取得最優成績。該方案還能實現17幀/秒的實時吞吐量，配合亞秒級首幀延遲。
