ERNIE-4.5-VL是百度旗下的多模態思考模型。2025年11月，百度正式發布了其最新的多模態思考模型——ERNIE-4.5-VL-28B-A3B-Thinking。該模型引入了“圖像思考”功能，支持圖片放大和搜尋等工具調用。作為輕量級視覺語言模型，支持超過100種語言互動。
2025年11月11日，ERNIE-4.5-VL-28B-A3B-Thinking正式開源。2025年11月17日，該模型登上Huggingface模型趨勢榜全球第一。
基本介紹
- 外文名：ERNIE-4.5-VL
- 所屬品牌：百度
研發背景,發展歷史,核心技術,性能表現,重要事件,
研發背景
ERNIE-4.5-VL是百度文心大模型4.5系列中的視覺語言模型。2025年6月30日，百度開源了文心大模型4.5系列，其中包括ERNIE-4.5-VL模型。該系列模型通過模組化設計實現文本與視覺組件的靈活分離：移除視覺專家模組、視覺編碼器及適配器後，模型可簡化為純語言模型ERNIE-4.5；而包含完整視覺組件的參數則構成多模態模型ERNIE-4.5-VL。
發展歷史
2025年8月，百度圍繞ERNIE-4.5-VL模型舉辦技術直播與實訓營，推廣其套用。同年9月23日，百度開源文心4.5系列21款模型，其中包括ERNIE-4.5-VL-28B-A3B-Paddle。2025年10月31日，中昊芯英“剎那”TPU AI晶片宣布適配ERNIE-4.5-VL模型。
2025年11月11日，百度正式發布並開源多模態思考模型 ERNIE-4.5-VL-28B-A3B-Thinking。
發布後，該模型於2025年11月17日登上HuggingFace模型趨勢榜全球第一。
核心技術
ERNIE-4.5-VL模型分為輕量級（如ERNIE-4.5-VL-28B-A3B）和大型（如ERNIE-4.5-VL-424B-A47B）等版本，採用異構混合專家架構（MoE）。其中，輕量級模型的激活參數顯著減少，例如ERNIE-4.5-VL-28B-A3B-Thinking僅激活3B參數。
模型的核心技術創新包括動態注意力機制和稀疏激活門控網路。動態注意力機制通過引入局部-全局雙層注意力，將文本分割為動態塊，在塊內使用全注意力捕捉細節，在塊間通過稀疏連線建模全局關係，顯著減少計算量。稀疏激活門控網路則僅在需要時激活特定神經元，該設計使模型推理時的FLOPs降低60%，而任務準確率僅下降2%。
在訓練方面，模型採用多模態統一預訓練框架，通過構建跨模態對比學習任務，將不同模態的數據映射到同一語義空間，提高數據利用效率。同時，採用了領域自適應採樣策略進行訓練，針對企業級套用優先學習領域內高價值數據，同時通過少量通用數據保持泛化能力。
為最佳化部署成本與推理速度，ERNIE-4.5-VL採用了多種技術，包括通過參數共享與量化壓縮將部署成本降低至傳統方案的1/10，通過動態批處理與硬體加速將推理延遲控制在100ms以內。模型支持128K上下文長度，並基於飛槳（PaddlePaddle）深度學習框架進行高效訓練與推理，在大語言模型的預訓練中，模型FLOPs利用率達到47%。
性能表現
ERNIE-4.5-VL系列模型在多項基準測試中進行了評估，其不同版本在視覺問答、圖像描述生成、跨模態檢索等任務的評測中取得較好結果，部分指標超過其他同類模型。
輕量級視覺語言模型ERNIE-4.5-VL-28B-A3B的激活參數較少，在多項基準測試中，其表現與Qwen2.5-VL-7B和Qwen2.5-VL-32B等模型相近或更好。
大規模模型ERNIE-4.5-VL-424B-A47B在CountBench、CV-Bench和RealWorldQA等基準測試中獲得較高分數；在思考模式下，其在MathVista、MMMU和VisualPuzzle等基準測試中的結果超過OpenAI-o1。
基於飛槳框架最佳化的ERNIE-4.5-VL-28B-A3B-Paddle模型在視覺問答（VQA）、圖像描述生成（COCO Captions）、跨模態檢索（Flickr30K）等任務的評測中，部分性能數據超過Qwen3-235B-A22B模型，例如VQA準確率為78.2%（Qwen3為74.5%），COCO Captions CIDEr得分為1.28（Qwen3為1.19），Flickr30K檢索R@1為89.1%（Qwen3為85.3%）。
深度思考模型ERNIE-4.5-VL-28B-A3B-Thinking在多項多模態理解與推理任務中取得較好結果，其激活參數為3B，性能表現與GPT-5-High及Gemini-2.5-Pro等模型接近；在文檔和圖表理解方面，其測試結果優於Gemini-2.5-Pro和GPT-5-High。
ERNIE-4.5-Turbo-VL在SuperCLUE多模態視覺評測榜中的得分為66.47分，與其他國內模型並列該榜單首位。
重要事件
2025年3月16日，百度正式發布文心大模型4.5及文心大模型X1，其中ERNIE-4.5-VL作為百度首個原生多模態大模型亮相。2025年6月30日，百度開源文心4.5系列模型，其中包括ERNIE-4.5-VL視覺語言模型（ERNIE-4.5-VL-28B-A3B；ERNIE-4.5-VL-424B-A47B）。
2025年9月23日，百度開源文心4.5系列21款模型，其中ERNIE-4.5-VL-28B-A3B-Paddle在多項多模態基準測試中表現超越Qwen3-235B-A22B。
2025年10月31日，中昊芯英“剎那”TPU AI晶片宣布適配百度文心開源大模型ERNIE-4.5-VL，以加速多模態運算。
2025年11月11日，百度正式發布並開源多模態思考模型ERNIE-4.5-VL-28B-A3B-Thinking。該模型在ERNIE-4.5-VL-28B-A3B基礎上訓練，引入“圖像思考”功能，支持圖像縮放、搜尋等工具調用。
2025年11月17日，ERNIE-4.5-VL-28B-A3B-Thinking登上HuggingFace模型趨勢榜全球第一。自11月11日發布後，該模型連續多日位列Huggingface多模態模型趨勢榜全球第一。
