VideoDrafter 是一個內容一致的多場景視頻生成框架。它利用大型語言模型（LLM）將輸入提示轉換為包含多場景腳本的綜合腳本，腳本包括描述事件、前景 / 背景實體以及相機運動的提示。VideoDrafter 識別腳本中的共同實體，並要求 LLM 對每個實體進行詳細描述。然後，將每個實體的描述輸入到文本到圖像模型中，以生成每個實體的參考圖像。最後，通過考慮參考圖像、事件描述和相機運動，通過擴散過程生成多場景視頻，擴散模型將參考圖像作為條件和對齊進行處理，以增強多場景視頻的內容一致性。
基本介紹
- 外文名：VideoDrafter
- 最近更新時間：2024年1月3日
核心功能
關鍵幀提取：智慧型提取視頻關鍵幀
音頻轉錄：高精度轉錄音頻內容
自然語言描述：生成視頻內容詳細描述
本地視頻分析：無需雲服務的本地處理
多模態支持：結合視覺與音頻分析
