基本介紹
- 中文名：MiniCPM-o 4.5
- 發布時間：2026年2月4日
- 產品類型：全模態模型
模型簡介,技術架構,性能表現,獲取與使用,
模型簡介
MiniCPM-o 4.5是面壁智慧型於2026年2月4日開源的全雙工全模態模型，參數規模約9B，支持視頻、音頻、文本流輸入及文本與語音的連續輸出。該模型在多項全模態基準測試中表現突出，視覺理解、文檔解析及語音生成能力達行業領先水平。在涵蓋8個主流基準的OpenCompass綜合評估中取得了平均77.6分的成績，部分指標優於Gemini 2.5-Flash等更大規模模型。
該模型採用全雙工多模態實時流機制，可在輸出過程中持續接收多模態輸入並實時調整回應策略，實現邊看、邊聽、邊說的互動能力，並通過1Hz頻率的語義判斷自主決定對話時機。這一能力源於其端到端的全模態架構，以及創新的全雙工多模態實時流機制與主動互動機制。模型將離線模態編碼器/解碼器轉化為支持流式輸入/輸出的線上全雙工版本。其環境感知功能可實時監聽變化，在公交到站、廚房看火等場景主動提醒用戶。
MiniCPM-o 4.5已在GitHub、Hugging Face等平台開源。模型提供多種部署方案，支持通過llama.cpp和Ollama進行本地CPU推理，提供多種量化格式，並支持vLLM和SGLang進行高效推理。得益於統一系統軟體棧FlagOS的跨平台能力，該模型已適配Nvidia、天數智芯、華為昇騰、平頭哥、海光、沐曦等至少6款主流AI晶片，並在這些硬體上實現了端到端推理性能的普遍提升。
在語音能力方面，MiniCPM-o 4.5支持中英文雙語實時語音對話，可配置不同音色，語音表現更自然、富有表現力且穩定。模型支持通過簡短的參考音頻實現聲音克隆與角色扮演，並解決了長語音合成中音色不統一、語氣不自然的難題。
技術架構
MiniCPM-o 4.5是一個參數量為90億（9B）的全模態大模型，基於SigLip2、Whisper-medium、CosyVoice2和Qwen3-8B以端到端方式構建。其技術架構的核心創新在於實現了原生全雙工與主動互動能力。
模型採用端到端的全模態架構，各模態的編碼器/解碼器與大語言模型（LLM）通過稠密特徵以端到端的方式進行緊密連線，有助於在訓練過程中充分挖掘和利用豐富的多模態知識。首創全雙工多模態實時流機制，將離線的模態編碼器/解碼器轉化為支持流式輸入/輸出的線上、全雙工版本，使得視覺、音頻、文本不同模態輸入輸出互不阻塞。語音解碼器採用文本與語音token交錯建模的方式，支持全雙工語音生成（即與新輸入實時同步），同時也提升了長語音生成的穩定性。在實現上，模型利用時分復用機制在毫秒級時間線上同步所有輸入和輸出流，將並行的全模態流劃分為微小周期性時間片內的順序信息組，從而實現高效的全模態流式處理。
引入主動互動機制，語言模型模組會持續監控輸入的視頻和音頻流，並以約1Hz的頻率自動決策是否發言。這種高頻語義決策能力結合全雙工特性，是實現主動提醒、主動評論等“主動互動”能力的關鍵。
採用可配置語音建模設計，模型延續了多模態系統提示詞設計，同時包含文本系統提示詞和音頻系統提示詞（用於指定音色），這使得模型在推理階段能夠通過簡單的參考音頻實現聲音克隆和角色扮演。在語音生成模組的設計上，模型採用“主幹模型+輕量級語音生成模組”的方案，在保證對語音生成控制能力的同時，最佳化了計算效率。
性能表現
MiniCPM-o 4.5在涵蓋8個主流基準的OpenCompass綜合評估中平均得分77.6分。其在MMBench（綜合視覺理解）、MathVista（數學推理）及OmniDocBench（文檔解析）等任務上表現較好。
該模型支持處理最高180萬像素的高解析度圖像和最高10fps的高幀率視頻。在OmniDocBench基準測試中，其端到端英文文檔解析能力表現突出。
通過較低的顯存占用和較快的回響速度，MiniCPM-o 4.5在提供全模態表現的同時，實現了較高的推理效率和較低的推理開銷。
基於FlagOS系統軟體棧，MiniCPM-o 4.5在發布當日完成了對六大主流AI晶片的適配與最佳化。在保證模型精度無損失的前提下，基於該版本的模型在全部六款晶片上實現了端到端推理效率的提升，不同場景下平均加速比為7.76%—22.4%。
獲取與使用
模型權重和代碼在Apache-2.0許可證下開源，用戶可通過GitHub、Hugging Face、魔搭社區等平台獲取。
在部署與運行方面，可使用Nvidia GPU進行PyTorch全精度推理；模型亦支持通過llama.cpp和Ollama在本地設備上進行CPU推理，提供了16種不同尺寸的int4和GGUF格式量化模型，並支持通過vLLM和SGLang實現推理。通過眾智FlagOS統一的多晶片AI系統軟體棧，MiniCPM-o 4.5已適配Nvidia、華為昇騰(Ascend)、海光(Hygon)、天數智芯(Iluvatar)、沐曦(Metax)、平頭哥(Zhenwu)等六款AI晶片，用戶可基於FlagOS公開鏡像運行多芯版模型，或基於vLLM-plugin-FL啟動。
面壁智慧型推出了llama.cpp-omni推理框架及配套的WebRTC Demo，可在PC等本地設備上實現全雙工多模態實時流體驗，同時提供了線上網頁演示版本。
用戶可使用LLaMA-Factory工具對新領域和任務進行微調。
