LLaVA是一種端到端訓練的大型多模態模型，通過整合CLIP視覺編碼器與Vicuna語言模型實現跨模態理解與生成。該模型由GPT-4生成指令數據，採用兩階段訓練策略：第一階段凍結視覺和語言模型微調線性層，第二階段更新投影層和語言模型參數。其核心技術包括動態高解析度視覺推理（支持672x672解析度）、多階段自主推理及視覺token壓縮技術，主要套用於多模態對話、科學問答（在此領域取得了新的最高準確率）與視覺推理場景。
該模型於2023年10月發布首個開源版本LLaVA-1.5，參數規模達15億。2024年11月推出的LLaVA-o1模型引入階段級束搜尋技術，多模態推理性能提升8.9%。2024年12月發布的LLaVA-v1.6-Vicuna-7B版本將輸入解析度提升4倍，支持三種寬高比，通過改進視覺指令數據混合顯著增強OCR能力。同期推出的LLaVA-OneVision系列通過RICE-ViT視覺編碼器與三階段訓練流程，在多項多模態基準測試中達到競爭性性能。2026年2月，國產AI晶片企業太初元碁宣布已完成對LLaVA系列多模態理解模型的適配。LLaVA的數據、代碼和檢查點僅限於研究用途，並遵循CLIP、LLaMA、Vicuna和GPT-4的許可協定。
基本介紹
- 外文名：LLaVA
- 最新模型：LLaVA-v1.6-Vicuna-7B
核心功能,發展歷史,
核心功能
多模態理解與生成：同時處理文本和圖像數據
動態高解析度視覺推理：支持672x672高精度OCR
多階段自主推理：分步驟解決複雜邏輯問題
跨模態指令回響：根據圖文指令生成答案
高效視覺token壓縮：單token處理圖像數據
發展歷史
2023年10月31日，推出開源多模態模型LLaVA-1.5，支持跨模態理解與生成，參數規模達15億。
2024年11月19日，推出首個自發性視覺AI模型LLaVA-o1，採用階段級束搜尋技術，多模態推理性能提升8.9%。
2024年12月5日，推出多模態對話模型LLaVA-v1.6-Vicuna-7B，結合語言與視覺技術，指令跟隨準確性顯著提升。
2026年02月24日，國產AI晶片企業太初元碁（太初（無錫）電子科技有限公司）宣布已完成對LLaVA系列多模態理解模型的適配，將其納入已適配的40餘款AI大模型生態中。
2026年03月06日，一項由多倫多大學、印第安納大學、帝國理工學院及MBZUAI等國際機構合作的研究，基於LLaVA 1.5架構推出了多語言視覺語言模型Maya。該模型旨在解決現有視覺語言模型的英語中心主義及數據偏見問題，支持英語、中文、法語等八種語言，並通過構建清潔的多語言數據集及系統性的毒性過濾，提升了模型的安全性與多語言理解能力。
