基本介紹
- 中文名：MiMo-7B
- 外文名：MiMo-7B
- 屬性：大模型
- 開源公司：小米
- 開源時間：2025年4月30日
釋義,技術架構,訓練方法,模型版本,性能表現,套用場景,
釋義
Xiaomi MiMo（又稱MiMo-7B）是小米公司於2025年4月30日通過“Xiaomi MiMo”公眾號宣布並開源的首個“為推理而生”的開源大語言模型。是小米推出的首個推理開源大模型，專注於推理能力。該模型由小米大模型Core團隊研發，專注於提升數學、代碼等複雜推理能力。在數學推理（AIME 24-25）和代碼競賽（LiveCodeBench v5）等公開測評中，其以7B（70億）參數規模超越了OpenAI的閉源推理模型o1-mini等更大規模的模型。
技術架構
MiMo-7B基於Transformer解碼器架構，包含分組查詢注意力(GQA)、預RMSNorm、SwiGLU激活函式及旋轉位置嵌入(RoPE)，與Llama、Qwen等主流架構類似。模型包含70億參數，隱藏維度為4096，共36層，支持32K tokens的長上下文視窗。
作為核心創新之一，模型引入了多令牌預測(MTP)作為額外的訓練目標。在預訓練階段，模型使用單層MTP以平衡性能與效率；在推理階段，通過複製和微調預訓練的MTP層形成多層MTP，並結合推測解碼技術，顯著加速推理過程，其中第一MTP層的接受率約為90%。
訓練方法
預訓練階段：構建了 2000 億 Token 專項推理語料庫，涵蓋數學證明、算法競賽等高階場景。採用三階段漸進訓練，包括基礎邏輯訓練、中級推理、複雜問題求解，總訓練量達 25 萬億 Token，是同等規模模型的 3 倍以上。
後訓練階段：提出 Test Difficulty Driven Reward（TDDR）算法，根據題目難度動態分配獎勵係數，緩解梯度震盪；引入 Easy Data Re-Sampling 策略，將低難度樣本訓練比例從 60% 壓縮至 30%，高難度樣本訓練頻率提高 2 倍。此外，自研 Seamless Rollout 系統，通過模型並行與數據並行混合調度，使 RL 訓練速度提升 2.29 倍。
模型版本
2025年4月30日，小米大模型 Core 團隊開源了 4 款 MiMo-7B 模型，包括基礎模型 MiMo-7B-Base、監督微調模型 MiMo-7B-SFT、基於基礎模型訓練的強化學習模型 MiMo-7B-RL 和基於 SFT 模型訓練的強化學習模型 MiMo-7B-RL-Zero。模型權重、技術報告及代碼已在Hugging Face平台開源。
性能表現
在數學推理（AIME 24-25）和代碼生成（LiveCodeBench v5）等權威測評中，MiMo-7B 超越了 OpenAI 閉源模型 o1-mini 和阿里 320 億參數的 QwQ-32B-Preview。其多模態版本 MiMo-VL-7B 在 2025 年高考數學新課標 I 卷中斬獲 139 分，與 2350 億參數的 Qwen3-235B 持平，僅比 OpenAI o3 低 1 分。
部署方案：MiMo 系列模型已全模型開源，提供靈活部署方案，支持在 Hugging Face 模型庫中使用，也支持 RTX 3060 顯示卡推理，延遲 < 300ms，通過 INT8 量化 + CUDA kernel 最佳化，在 RTX 4090 實現 30token/s 生成速度。
