MiniCPM 4.1是面壁智慧型於2025年9月8日發布的基座模型，外文名為。該模型在MiniCPM 4.0基礎上新增8B參數的行業首個原生稀疏架構深思考模型，支持在Ollama、vLLM、SGLang、llama.cpp等開源框架中部署。
該模型採用InfLLM 2.0稀疏注意力架構，將長文本場景下稀疏度降至5%，注意力層計算量減少至傳統模型的1/10。通過智慧型雙頻換擋機制，可自動切換稀疏與稠密注意力模式：長文本處理時啟用稀疏注意力提升效率，短文本場景下切換至稠密注意力確保精度。在LiveCodeBench、AIME等測試中，其推理速度比同尺寸開源模型快3倍以上，128K長文本場景下快取存儲空間僅為Qwen3-8B的25%。在C-Eval、CMMLU、MMLU等15個評測基準中取得綜合平均分同尺寸模型第一。
基本介紹
- 外文名：MiniCPM 4.1
- 發布時間：2025年9月8日
簡介,核心技術,重要事件,運營模式,
簡介
在MiniCPM 4.0的基礎上，MiniCPM 4.1新增了8B參數的行業首個原生稀疏架構深思考模型。該模型由面壁智慧型於2025年9月8日發布。其設計目標是通過架構創新與系統最佳化，在智慧型手機、智慧型汽車、智慧型家居等算力受限設備上實現較高水平的推理能力。模型採用InfLLM 2.0稀疏注意力架構與高效雙頻換擋機制，可自動根據任務複雜度在稀疏與稠密計算模式間切換，以降低長文本計算開銷。在知識、推理、編程、指令遵循等15個評測基準上，其綜合平均分表現較好，在代碼、數學推理等任務的推理速度比同尺寸開源模型快。
模型由清華大學自然語言處理實驗室、中國人民大學、面壁智慧型與OpenBMB開源社區等聯合研發，並已在Github、Hugging Face、魔搭社區等平台開源。MiniCPM 4.1可在Ollama、vLLM、SGLang、llama.cpp、LlamaFactory、XTuner等開源框架部署。
核心技術
MiniCPM 4.1在8B參數規模下通過模型架構、訓練數據、訓練算法和推理系統四個維度的系統性創新，旨在實現端側設備的高效“深思考”能力。
該模型採用InfLLM v2稀疏注意力架構，每個詞元僅計算與5%以下詞元的相關性，在128K長文本場景下，快取存儲空間需求降低至傳統模型的25%，推理速度提升7倍。該架構將鍵值快取（KV Cache）劃分為固定大小的語義塊，通過動態相關性評分選擇Top-K塊進行計算，引入“語義核”概念，將注意力複雜度從O(n)降至O(n)。區別於傳統模型通過剪枝實現的稀疏性，MiniCPM 4.1在預訓練階段即引入可訓練的稀疏注意力，使模型天然具備高效計算能力。
模型通過智慧型雙頻換擋機制，可自動切換稀疏與稠密注意力模式：長文本處理時啟用稀疏注意力提升效率，短文本場景下切換至稠密注意力確保精度。該機制通過任務特徵分析器實時監測輸入長度、複雜度等指標，自動識別任務類型並切換模式。
在部署方面，MiniCPM 4.1支持GPTQ、AutoAWQ等量化格式，可在高通驍龍8 Gen4、聯發科天璣9400等晶片上直接運行。通過CPM.cu推理框架集成稀疏計算、投機採樣（如頻率排序推測採樣FR-Spec）等技術，模型推理效率較前代提升3倍。
訓練過程中，模型利用UltraClean數據過濾系統從海量數據中篩選高價值語料，訓練效率提升4倍；通過ModelTunnel v2超參搜尋降低訓練參數搜尋成本90%。
基於MiniCPM-V的視覺-語言融合架構，MiniCPM 4.1可處理圖像描述、文檔分析等跨模態任務。
在代碼和數學推理任務中，其推理速度比同尺寸開源模型快3倍以上。在CMMLU、MMLU、AIME-2024、HumanEval、BBH等多項評測基準中表現較好。
重要事件
2025年9月8日，面壁智慧型發布新版本的MiniCPM 4.1基座模型。
該模型是一種採用原生稀疏架構的深思考模型，新增了8B參數，並採用了InfLLM v2稀疏注意力機制。該模型已在GitHub、Hugging Face、魔搭社區等平台發布，並支持在Ollama、vLLM、SGLang、llama.cpp、LlamaFactory、XTuner等開源框架中部署。
運營模式
MiniCPM 4.1採用開源模式發布，模型已在GitHub、Hugging Face、魔搭社區（ModelScope）等平台開源，用戶可通過Git命令或ModelScope SDK下載模型檔案，其開源協定為Apache License 2.0。
