LLaVA-NeXT

LLaVA-NeXT是一個開源的大型多模態語言模型系列，是LLaVA模型的演進版本。其核心創新在於採用統一的交錯數據格式，能夠聯合處理單圖像、多圖像、視頻及3D等多種視覺模態數據。該系列模型通過AnyRes算法等技術，實現了零樣本視頻理解等能力，並在多個視覺基準測試中取得了領先性能。LLaVA-NeXT包含不同參數規模的模型（如7B、34B、72B等），並衍生出專注於交錯任務的LLaVA-NeXT-Interleave和視頻理解的LLaVA-NeXT-Video等分支。作為一個開源項目，它提供了完整的訓練代碼、高質量數據集和模型權重，旨在推動通用視覺-語言理解能力的發展。

基本介紹

• 參數規模：7B、34B、72B
• 開源：是
• 核心創新：統一的交錯數據格式
• 研發機構：南洋理工大學、香港科技大學、位元組跳動
• 類型：多模態大語言模型系列
• 首發時間：2024年

研發背景

LLaVA-NeXT是LLaVA系列開源多模態大語言模型的後續版本，於2024年首次發布。其研發旨在解決前代模型的局限，進一步提升模型的多模態理解、推理、OCR（光學字元識別）和世界知識等能力。目標是在多項基準測試上達到或超越當時領先的商業模型（如Gemini Pro,GPT-4V）。

該系列的研發建立在LLaVA-1.5的基礎上，技術路線具有延續性。主要改進方向包括：通過實裝AnyRes算法提升圖像解析度處理上限；通過針對性收集更多數據以增強OCR和世界知識能力；以及通過使用更多樣性的指令數據以應對更複雜多變的現實場景。

研發過程強調大規模、高質量、多樣化的數據混合與清洗對性能提升的重要性。

後續疊代中，研究團隊通過引入更強的語言模型骨幹和推出更大參數模型來持續提升模型能力，並保持了高效的訓練策略。模型的能力也從圖像理解拓展至視頻領域，並進一步通過LLaVA-NeXT-Interleave實現了對多圖像、視頻和3D數據的統一處理。為了全面評估模型在複雜場景下的能力，團隊還開發了新的評估數據集，如LLaVA-Bench(Wilder)。

核心技術

LLaVA-NeXT延續了LLaVA的基本架構，由一個預訓練的視覺編碼器、一個大語言模型以及一個可訓練的投影層（連線器）構成，通過連線器對齊視覺與語言特徵。其視覺編碼器、連線器和大語言模型具有不同的參數量，共同組成模型架構。

AnyRes高解析度圖像處理技術

LLaVA-NeXT採用了AnyRes（任意解析度）算法。該算法通過圖像分塊技術高效處理高解析度輸入圖像，從而提升對圖像細節的識別能力。LLaVA-NeXT實裝了AnyRes，並支持更大的上限解析度。

視頻理解技術

LLaVA-NeXT將其核心架構AnyRes算法套用於視頻理解，實現了零樣本視頻處理能力。具體方案是將視頻均勻抽取N幀，每幀調整尺寸後拼接成一個圖像格線，模型便能像處理多圖一樣處理視頻幀序列。為應對大語言模型的Token長度上限，研究者採用了空間池化（如2x2池化）來壓縮每幀的視覺Token數量。

交錯數據格式與統一多模態建模

LLaVA-NeXT-Interleave實現了對多圖、視頻和3D數據的統一處理。其核心創新在於將多圖像、視頻、3D及單圖像數據統一表示為一種交錯對話的訓練格式，從而實現了對多種模態任務的統一建模。

兩階段訓練策略

LLaVA-NeXT的訓練分為兩個階段。第一階段預訓練投影層，使用了來自LAION/CC/SBU的558K圖像-文本對數據。第二階段進行指令微調，使用了約790K樣本的指令跟隨數據。在完成第二階段指令微調的模型基礎上進行特定任務（如多圖）的監督微調，其效果優於直接在第一階段預訓練模型上進行。

模型家族與可擴展性

LLaVA-NeXT模型家族支持多種規模，包括0.5B、7B、34B、72B和110B等參數版本。其架構支持不同的視覺編碼器與大語言模型骨幹（如LLaMA、Qwen系列）進行組合，具有靈活的部署和微調方案。