Phenaki

Phenaki是谷歌公司開發的文本生成視頻模型，其最大特點是通過輸入文字提示生成有連貫故事線的長視頻。用戶可通過輸入初始幀和提示詞，讓模型自動生成動態視頻序列。

該模型與谷歌的另一項圖像生成技術Imagen結合，實現了高解析度細節與長篇幅敘事能力的互補，研究人員認為其在電影製作和視頻敘事領域具有套用潛力。儘管早期展示的視頻樣片解析度較低，但技術演示了生成性AI在視頻創作中的突破性進展。

基本介紹

• 外文名：Phenaki
• 所屬公司：谷歌
• 發布日期：2022年11月 
• 技術特點：文本轉視頻
• 套用領域：視頻創作
• 類別：文本生成視頻模型

發展歷史

Phenaki由谷歌研究團隊開發，於2022年10月首次發布，其相關論文已提交至ICLR 2023會議。

2022年11月，谷歌首次公開Phenaki作為文本生成視頻的互補研究方法之一，並首次展示了結合Imagen Video和Phenaki生成的超解析度長視頻，凸顯了Phenaki生成長視頻能力與Imagen Video高解析度細節的互補。

技術特點

Phenaki可根據用戶輸入的提示詞生成連貫視頻序列，解決了傳統文本轉視頻模型難以構建長篇幅故事的難題。其與Imagen的結合，實現了動態場景生成與高解析度細節的互補，提升了生成視頻的敘事能力和畫面質量。

Phenaki的核心技術架構主要由視頻編碼器-解碼器模型（C-ViViT）和文本到視頻的轉換模型構成。其採用名為C-ViViT的編碼器-解碼器架構，該架構利用時間上的因果注意力機制，能夠處理可變長度的視頻，並將視頻壓縮為離散令牌的小型表示，有效減少了視頻令牌的數量並保持了時空一致性。為了從文本生成視頻令牌，Phenaki使用了一個以預計算文本令牌為條件的雙向掩碼Transformer模型。文本嵌入則由預訓練的語言模型T5X進行編碼。為了解決高質量視頻-文本數據有限的問題，Phenaki通過對大量圖像-文本對語料庫以及少量視頻-文本示例進行聯合訓練，實現了對視頻數據集之外內容的泛化能力。

套用前景

研究人員指出，Phenaki能以新方式講述長篇故事，尤其在電影製作和視頻敘事領域具有革新潛力。截至2023年8月，Phenaki是谷歌旗下的文本轉視頻模型。

Phenaki的核心功能是根據一系列文本提示生成長達數分鐘、情節連貫的視頻，並支持在開放域下根據時間變化的提示詞生成內容。

該模型在內容創作與敘事領域，能夠根據詳細的文字描述自動生成包含完整故事線的長視頻。同時，Phenaki支持用戶通過輸入初始幀結合文本提示，或動態更改提示詞序列，來互動式地生成和編輯視頻內容，並支持切換視頻的整體藝術風格。

相關事件

2022年10月5日，Phenaki的論文《Phenaki: Variable Length Video Generation From Open Domain Textual Description》提交至arXiv預印本平台。2022年10月，谷歌CEOSundar Pichai親自推廣了Phenaki和Imagen Video兩款文本轉視頻工具。2022年11月，谷歌首次公開演示了結合Phenaki生成長視頻能力和Imagen Video提供高解析度細節的AI超解析度長視頻。Phenaki的論文曾投稿至ICLR 2023會議。

市場反響

Phenaki發布後引起了業界和用戶的廣泛關注，谷歌CEOSundar Pichai曾親自推薦該模型，有網友評論認為其對短視頻行業衝擊太大。

Phenaki的優點在於能夠根據文本提示生成長達2分鐘以上的視頻，且生成的故事具有連貫性，並支持生成可變長度的視頻。其缺點在於生成的視頻質量較低，解析度有待提升，且自回歸策略生成速度緩慢，對顯存和訓練數據的依賴也相當高，在複雜場景下偶爾有語義漂移現象。

與同期發布的Imagen Video相比，兩者定位各有千秋，前者主打視頻品質，後者主要挑戰視頻長度。基於Transformer的Phenaki突破了視頻生成時長限制，但效果相對粗糙缺少細節。

出於安全和倫理的考慮，谷歌暫時不會發布Phenaki等視頻生成模型的代碼或Demo，因為這類模型可能被濫用，例如生成虛假、仇恨、明確或有害的內容。

Phenaki的出現被認為勢必會對未來整個視頻行業造成衝擊，其降低視頻創作門檻的潛力引發了關於改變內容生產方式的討論，但該模型仍被認為停留在實驗室階段，與商業化產品存在差距。