FramePack是由史丹福大學研究人員Lvmin Zhang和Maneesh Agrawala在2025年提出的一種視頻生成方法。該方法通過創新的固定長度時域上下文壓縮技術，解決了傳統視頻生成模型中的“遺忘”和“漂移”問題，顯著降低了硬體門檻。
該架構能將輸入幀根據重要性壓縮至固定長度的上下文視窗內，使生成計算負載與視頻長度無關。基於此技術構建的130億參數模型，僅需6GB顯存即可在消費級GPU上生成長達60秒或120秒的視頻，在RTX 4090上經最佳化後生成速度可達約1.5秒/幀。
基本介紹
- 外文名：FramePack
- 發布方：ControlNet作者張呂敏
技術定義,核心技術,產品功能,發展歷程,核心團隊,技術影響,
技術定義
FramePack是一種基於“下一幀預測”（next-frame prediction）架構的AI視頻生成方法。其核心創新在於“幀打包”（Frame-Packing）或“幀上下文壓縮”技術。
該技術通過將輸入幀的上下文信息壓縮到一個固定長度（固定長度的時域上下文），使得視頻生成的計算負載與視頻時長解耦，計算成本與圖像擴散模型相近。FramePack旨在解決傳統視頻擴散模型在生成長視頻時面臨的“遺忘”（forgetting，即AI逐漸忘記早期畫面內容）和“漂移”（drifting，即生成質量逐漸下降）兩大核心難題。
核心技術
FramePack的核心技術創新在於通過一系列方法解決了視頻生成中的“遺忘”和“漂移”兩大難題。
FramePack採用固定長度的時域上下文，通過幾何級數壓縮策略根據幀的重要性（通常越新的幀越重要）動態分配上下文長度，確保總上下文長度收斂於一個固定上限，從而控制計算量，使生成工作負載與視頻長度解耦。
為解決“漂移”問題，FramePack提出雙向採樣方法，如反向抗漂移採樣，通過早期確定結束幀或從高質量起始幀反向生成，來避免因果採樣中誤差累積導致的視頻質量下降問題。
FramePack對RoPE進行了修改，以支持非連續的時間相位，適應壓縮後的幀序列。
FramePack支持TeaCache等快取最佳化技術以提升生成速度，併兼容多種注意力機制，如PyTorch attention, xformers, flash-attn, sage-attention。
FramePack基於HunyuanVideo等預訓練視頻擴散模型實現，並可通過微調適配其他模型。
產品功能
項目一天內獲2600+星標，推出圖形界面軟體支持一鍵生成，RTX 4090可達2.5秒/幀，標誌視頻生成進入超低顯存時代。
發展歷程
FramePack由史丹福大學研究人員Lvmin Zhang和Maneesh Agrawala於2025年4月在論文《Packing Input Frame Context in Next-Frame Prediction Models for Video Generation》中提出，並於同期在GitHub開源。
項目開源後迅速獲得廣泛關注，在一天內獲得超過2600個GitHub星標。隨後，AI平台如RunningHub在開源後12小時內完成了技術集成，提供線上服務。
在版本演進方面，FramePack-F1作為基礎版已正式發布，而FramePack-P1作為新增抗漂移等特性的下一代版本計畫中。
核心團隊
FramePack的主要研發人員為史丹福大學的Lvmin Zhang（張呂敏）和Maneesh Agrawala。Lvmin Zhang是ControlNet的作者。他也是ICLR 2025滿分論文的作者之一。
技術影響
FramePack通過其架構設計，影響了AI視頻生成領域的技術套用生態。
基於FramePack架構的130億參數模型，需約6GB GPU顯存可生成長達60秒（或120秒）的全幀率（30fps）視頻，使得在消費級顯示卡上運行成為可能。在RTX 4090上，啟用最佳化後生成速度約為1.5秒/幀。FramePack的計算成本與圖像擴散模型相近，支持更大的訓練批次。FramePack的出現被視為AI視頻生成技術發展中的一項進展。該架構以開源形式發布，促進了相關技術的傳播和社區套用。
