MobileLLM是Meta發布的系列小模型，參數量低至350M，性能匹敵7B參數的LLaMA-v2模型。
基本介紹
- 外文名：MobileLLM
- 發布方：Meta
產品設計,產品測試,
產品設計
MobileLLM採用SwiGLU前饋網路、深而窄的網路結構、編碼共享和組查詢注意力機制，最佳化架構設計。
產品測試
MobileLLM在多個基準測試中實現SOTA性能，證明小模型通過精細架構設計可達到高效能。
MobileLLM是Meta發布的系列小模型，參數量低至350M，性能匹敵7B參數的LLaMA-v2模型。
MobileLLM-R1是由Meta公司於2025年9月22日發布的輕量化語言模型系列，提供1.4億、3.6億和9.5億參數版本，支持本地移動設備部署，採用Apache 2.0協定開源並發布於Hugging Face平台。該系列包含基礎模型及其監督微調版本，採用“深而窄”架構，其中950M參數版本擁有22層Transformer，並採用了分組查詢注意力（GQA）和...
模型可從Hugging Face、ModelScope等開源平台下載預訓練模型或輕量化模型，例如Phi-3、MobileLLM。獲取後需進行最佳化，包括使用量化壓縮工具鏈如LLM.int8()、GPTQ進行INT8量化，或使用框架轉換工具如轉ONNX格式進行最佳化，以適配本地資源。安全與合規實踐 為滿足數據隱私和合規要求，需實施安全加固。包括模型檔案加密，...
2024年領導團隊開發MobileLLM系列模型，最佳化移動端AI套用，同年出版科幻小說《破曉之鐘》。被裁後，田淵棟指出Meta內部在Llama 4研發上存在“外行領導內行”的問題，其研究方向包括大模型推理和可解釋性。人物經歷 2013年博士畢業後加入Google無人駕駛團隊擔任軟體工程師。Facebook人工智慧研究院智慧型圍棋項目負責人，2018年...
初始的SmolLM模型中，135M和360M參數模型採用了類似MobileLLM的設計，優先深度擴展而非寬度，並使用了分組查詢注意力（GQA）以提高效率，而1.7B參數模型則採用了相對傳統的Transformer解碼器架構。所有模型的上下文長度均為2048個token，並使用了嵌入共享（embedding tying）。模型使用的分詞器（tokenizer）是在SmolLM-...