InternLM-XComposer2是一款領先的視覺語言模型，擅長自由形式文本圖像合成與理解。該模型不僅能夠理解傳統的視覺語言，還能熟練地從各種輸入中構建交織的文本圖像內容，如輪廓、詳細的文本規範和參考圖像，實現高度可定製的內容創作。
基本介紹
- 外文名：InternLM-XComposer2
- 最新模型：InternLM-XComposer2-VL-1.8B
簡介,技術特點,發展歷史,
簡介
自由圖文合成：根據輸入生成圖文混排內容
視覺語言問答：精準處理複雜視覺語言問題
多模態對齊：通過部分LoRA實現高效模態融合
高解析度處理：支持4K高清圖像動態分區解析
多語言創作：保持文本文學性的多語言生成
技術特點
InternLM-XComposer2提出了一種部分LoRA（PLoRA）方法，專門將額外的LoRA參數套用於圖像標記，以保留預訓練語言知識的完整性，實現精確的視覺理解和具有文學才能的文本構成之間的平衡。實驗結果表明，基於InternLM2-7B的InternLM-XComposer2在生成高質量長文本多模態內容方面優越，以及在各種基準測試中其出色的視覺語言理解性能，不僅明顯優於現有的多模態模型，還在某些評估中與甚至超過GPT-4V和Gemini Pro。
發展歷史
2024年4月22日，推出InternLM-XComposer2-4KHD，支持336px至4K動態分區處理；8月7日，首次公開模型架構，集成ViT-Large視覺編碼器與InternLM2-7B語言模型；8月8日，基於InternLM2-7B的模型在多項基準測試中達到開源第一梯隊。
2025年6月6日，引入部分LoRA設計最佳化視覺-語言對齊，增強多模態數據訓練質量。
