Video-XL-2是由智源研究院聯合上海交通大學等機構於2025年6月3日發布的新一代超長視頻理解模型。該模型突破視頻處理時長限制，支持在單張顯示卡上高效解析長達萬幀的連續視頻內容，適用於影視內容分析、異常行為監測等場景，其模型權重已向社區全面開放。
該模型採用SigLIP-SO400M視覺編碼器、動態Token合成模組（DTS）和Qwen2.5-Instruct大語言模型的三階段架構，通過四階段漸進式訓練策略實現技術突破。在MLVU、Video-MME等評測基準中達到同參數規模開源模型的領先水平，處理2048幀視頻僅需12秒。效率最佳化策略包含分段式預裝填和雙粒度KV解碼，降低60%顯存開銷並提升3倍推理速度。
基本介紹
- 中文名：Video-XL-2
- 模型類型：超長視頻理解模型
- 發布時間：2025年6月3日
簡介,發展歷史,技術架構,訓練策略,效率最佳化,性能表現,套用場景,未來發展,
簡介
Video-XL-2，系2025年6月3日由智源研究院聯合上海交通大學等機構發布的新一代超長視頻理解模型。該模型在MLVU、Video-MME等評測基準中達到同參數規模開源模型的領先水平。新模型顯著擴展了可處理視頻的時長，支持在單張顯示卡上高效處理長達萬幀的視頻輸入。通過分段式預裝填策略和雙粒度KV解碼等效率最佳化，顯著降低了顯存開銷並提升了推理速度。目前，Video-XL-2的模型權重已全面向社區開放，適用於影視內容分析、異常行為監測等實際場景。
發展歷史
2025年6月3日，智源研究院宣布，已聯合上海交通大學等機構發布新一代超長視頻理解模型：Video-XL-2。並且，Video-XL-2的模型權重已全面向社區開放。
技術架構
Video-XL-2採用了“視覺編碼-動態建模-語言推理”的三階段架構。視覺編碼器採用SigLIP-SO400M，負責對輸入視頻進行逐幀處理，將每一幀編碼為高維視覺特徵。動態Token合成模組（DTS）對這些視覺特徵進行融合壓縮，並建模其時序關係，以提取更具語義的動態信息。處理後的視覺表征通過平均池化與多層感知機映射到文本嵌入空間，實現視覺與語言模態的對齊。大語言模型採用Qwen2.5-Instruct，接收對齊後的視覺信息，負責最終的理解、推理與任務回響。
訓練策略
Video-XL-2採用了四階段漸進式訓練策略。第一階段和第二階段主要利用圖像/視頻-文本對，完成動態Token合成模組（DTS）的初始化與跨模態對齊。第三階段引入更大規模、更高質量的圖像與視頻描述數據，初步奠定模型對視覺內容的理解能力。第四階段，在大規模、高質量且多樣化的圖像與視頻指令數據上進行微調，使模型的視覺理解能力得到進一步提升與強化。
效率最佳化
Video-XL-2的核心突破在於實現了在單張顯示卡上對萬幀級視頻的高效推理。為了達成這一目標，模型系統性地設計了兩項關鍵技術：分段式預裝填策略（Chunk-based Prefilling）與基於雙粒度KV的解碼機制（Bi-granularity KV Decoding）。
首先，模型引入了分段式預裝填策略：將超長視頻劃分為若干連續的片段（chunk），在每個chunk內部使用稠密注意力機制進行編碼，而不同chunk之間則通過時間戳傳遞上下文信息。該設計顯著降低了預裝填階段的計算成本與顯存開銷。
其次，模型設計了基於雙粒度KV的解碼機制：在推理過程中，模型會根據任務需求，選擇性地對關鍵片段載入完整的KVs（dense KVs），而對其他次要片段僅載入降採樣後的稀疏KVs（sparse KVs）。這一機制有效縮短了推理視窗長度，從而大幅提升解碼效率。
得益於上述兩項策略的協同最佳化，Video-XL-2實現了在單張顯示卡上對萬幀級視頻的高效推理。具體而言，在RTX 4090上，模型僅需12秒即可完成2048幀視頻的預填充，且預填充時間與輸入幀數之間呈現出近似線性增長，體現了出色的可擴展性。
性能表現
在MLVU、VideoMME和LVBench等主流長視頻評測基準上，Video-XL-2全面超越了現有所有輕量級開源模型，達到了當前最先進的性能（SOTA）。在MLVU和LVBench基準上，其性能已接近甚至超越了參數規模達720億的Qwen2.5-VL-72B和LLaVA-Video-72B等大型模型。此外，在時序定位（Temporal Grounding）任務中，該模型在Charades-STA數據集上取得了領先的結果。
在處理速度方面，Video-XL-2僅需12秒即可完成2048幀視頻的預填充。其預填充時間與輸入視頻幀數之間呈現出近似線性的增長關係，體現了良好的可擴展性。
在視頻處理長度上，Video-XL-2支持在單張顯示卡上處理超長視頻。具體而言，在單張24GB顯存的消費級顯示卡（如NVIDIA GeForce RTX 3090/4090）上，可處理長達千幀的視頻輸入；而在單張80GB顯存的高性能顯示卡（如NVIDIA A100/H100）上，可支持處理高達萬幀的視頻輸入，顯著拓展了開源模型處理視頻的時長上限。
套用場景
Video-XL-2在多種實際套用場景中展現出潛力，主要包括影視內容分析、監控視頻異常檢測、遊戲直播內容分析和教育視頻智慧型處理。影視內容分析包括劇情問答和內容總結等任務，而監控視頻套用則側重於異常行為檢測與安全預警。
未來發展
根據模型發布時公布的信息，Video-XL-2的未來發展方向主要包括多模態擴展、實時推理最佳化和領域自適應。
