MobileLLM-R1是由Meta公司於2025年9月22日發布的輕量化語言模型系列，提供1.4億、3.6億和9.5億參數版本，支持本地移動設備部署，採用Apache 2.0協定開源並發布於Hugging Face平台。該系列包含基礎模型及其監督微調版本，採用“深而窄”架構，其中950M參數版本擁有22層Transformer，並採用了分組查詢注意力（GQA）和權重共享等技術最佳化。
該系列模型通過三階段訓練（預訓練、知識蒸餾與專項微調）專門最佳化數學解題、Python/C 編程及科學問題處理能力。950M參數版本使用約2TB高質量token進行預訓練，總訓練token量少於5T。在MATH、GSM8K及LiveCodeBench等基準測試中，其性能超越使用36T token訓練的Qwen 3-0.6B模型，其中數學解題準確率達Olmo 1.24B的5倍，編程任務性能優於SmolLM 1.7B。模型支持4K的上下文長度和32K的後訓練擴展。開發者可通過vLLM推理引擎運行模型，需在ModelRegistry註冊Llama4ForCausalLM架構。該模型目前僅限非商業研究使用。
基本介紹
- 軟體名稱：MobileLLM-R1
- 軟體平台：Hugging Face
- 開發商：Meta
- 軟體授權：Apache 2.0
- 軟體版本：1.4億參數、3.6億參數、9.5億參數
- 上線時間：2025年9月22日
研發背景,發展歷程,主要功能,核心技術,技術規格,核心團隊,
研發背景
端側AI與小型語言模型的崛起，旨在推動AI能力向移動終端和邊緣設備普及，該模型聚焦企業對成本、隱私與系統控制的需求，催生了支持在資源受限設備上本地運行的輕量級專業模型。MobileLLM-R1並非通用聊天模型，其目標是在手機、物聯網設備等終端上，高效解決數學、編程、科學推理等硬核問題的“專業工具”。
發展歷程
2025年9月22日訊息，Meta公布了MobileLLM-R1系列小語言模型，該系列提供1.4億、3.6億和9.5億參數版本，通過監督式微調專門最佳化數學解題、Python/C++編程及科學問題處理能力。該系列模型已以 Apache 2.0 協定開源，並發布在Hugging Face平台，其完整的訓練方案和數據源也一同公開，以支持可重複性研究和社區進一步探索。
主要功能
MobileLLM-R1 並不是面向聊天機器人的通用模型，而是經過監督式微調（SFT）專門訓練，主要用於解決數學、編程（如 Python、C++）和科學類問題，以最大規模的 MobileLLM-R1 950M 為例，其預訓練數據僅使用了約 2TB 高質量 token，總訓練數據量也不到 5TB，但表現依然出色。在 MATH、GSM8K、MMLU、LiveCodeBench 等多項基準測試中，成績超過了使用 36TB token 數據訓練的 Qwen 3-0.6B。
在對比現有開源小模型時，MobileLLM-R1 950M 在 MATH 測試中的準確率是 Olmo 1.24B 的 5 倍，也是 SmolLM 1.7B 的 2 倍。在編程任務中，其表現同樣優於 Olmo 1.24B 和 SmolLM 1.7B。
核心技術
MobileLLM-R1旨在實現高性能、高效率的小參數模型。其核心技術包括模型架構創新和訓練方法創新。
在模型架構上，MobileLLM-R1採用“深而窄”的架構設計，其950M版本擁有22層Transformer網路。模型採用分組查詢注意力(GQA)機制以減少計算和記憶體需求，並採用相鄰塊權重共享技術以降低參數數量且幾乎不增加延遲。此外，模型採用SwiGLU激活函式以提升小模型的表示能力。
在訓練方法上，MobileLLM-R1採用三階段訓練方案：通用預訓練、知識蒸餾、專項監督微調(SFT)。其訓練數據高效，例如950M模型預訓練約使用2T高質量token，總訓練量不足5T。
技術規格
MobileLLM-R1系列包含140M、360M和950M三種參數規模的版本，其最大模型MobileLLM-R1-950M採用22層Transformer結構，配置24個注意力頭和1536維隱藏層。模型支持4K的上下文長度，後訓練版本可擴展至32K。開發者可通過vLLM推理引擎運行該系列模型，需在ModelRegistry中登記模型架構Llama4ForCausalLM。模型設計充分考慮了手機等終端設備的記憶體和功耗限制，旨在最佳化在資源受限環境下的本地部署與運行效率。
核心團隊
MobileLLM-R1項目由三位華人研究科學家領銜，分別是Zechun Liu、Ernie Chang和Changsheng Zhao。Zechun Liu是Meta AI的研究科學家，專注於大模型和基礎模型的高效部署與最佳化；Ernie Chang是Meta AI的研究科學家，專注於自然語言處理、多模態學習和高效模型部署；Changsheng Zhao是Meta AI的研究科學家，專注於自然語言處理、深度學習和大語言模型的高效部署與最佳化。該項目的研發時間歷時約一年。
