SmolLM家族

SmolLM是Hugging Face最近公布的一套緊湊型語言模型家族，包含135M、360M與1.7B三個參數版本，旨在適配不同計算資源。這些模型可直接在手機、筆記本電腦等個人設備本地運行，以保護用戶隱私。其在常識推理與世界知識基準測試中表現良好，其中135M參數版本在多項測試中超越Meta的MobileLM-125M，360M與1.7B參數版本也在同參數區間模型中表現領先。

該系列模型基於高質量數據集Cosmo-Corpus訓練，其開發過程完全開源。後續推出的SmolLM2系列在指令跟隨、知識與推理方面取得進步。SmolLM3進一步擴展了上下文長度並支持多語言。

基本介紹

• 中文名：SmolLM家族
• 外文名：SmolLM
• 產品類型：語言模型
• 上市時間：2024年7月20日

研發背景

Hugging Face於2024年7月公布了SmolLM家族。該家族旨在提供一系列參數規模為1.35億、3.6億及17億的緊湊型語言模型，以適配不同水平的計算資源，在個人設備上提供先進的AI功能。

其發布背景在於解決大語言模型對雲端計算依賴所帶來的高成本、高延遲和隱私泄露風險。SmolLM的推出旨在讓邊緣設備也能進行AI處理，在低延遲和高隱私保護的基礎上運行。

這些模型完全可以在手機及筆記本電腦等個人設備上運行，因此消除了雲計算需求，同時緩解了成本與隱私問題。項目首席工程師Loubna Ben Allal指出，這些模型意味著每個人都可以使用AI技術，具備完全隱私保障和更低的環境足跡。研究團隊負責人Leandro von Werra認為，這些緊湊型模型為開發人員和最終用戶打開了一個充滿可能性的世界，無需昂貴的GPU或雲基礎設施即可支撐自定義AI套用。

發展歷程

2024年7月，Hugging Face公布了緊湊型語言模型家族SmolLM的初始版本，包含135M、360M和1.7B三個參數規格，旨在適配不同水平的計算資源並能在手機、筆記本電腦等個人設備上本地運行。模型基於精心策劃的高質量數據集SmolLM-Corpus訓練而成，該數據集包含Cosmopedia v2、Python-Edu、FineWeb-Edu等子集。在多項常識推理與世界知識基準測試中，SmolLM-135M超越了Meta的MobileLM-125M，SmolLM-360M超越了所有參數低於5億的模型，旗艦型號SmolLM-1.7B則擊敗了微軟的Phi-1.5、Meta的MobileLM-1.5B以及千問Qwen2-1.5B。

2025年1月，Hugging Face發布了升級版SmolLM2系列，同樣包含135M、360M和1.7B三種參數規格，該系列在其前身SmolLM1的基礎上取得了顯著進步，特別是在指令跟隨、知識和推理方面。SmolLM2-360M使用了多樣化的數據集組合（如FineWeb-Edu、DCLM、The Stack等）進行了總計4萬億token的預訓練，並通過監督微調（SFT）和直接偏好最佳化（DPO）開發了指令版本，支持文本重寫、摘要生成和函式調用等任務。

2025年7月，Hugging Face推出了SmolLM3，該版本進行了11萬億token的三階段預訓練，並採用了GQA+NoPE架構最佳化以提升效率。主要亮點包括支持最長128k上下文視窗，以及支持英語、法語、西班牙語、德語、義大利語、葡萄牙語共6種語言。SmolLM3還引入了“Think”（深度推理）和“No Think”（閃電答覆）雙模式，並支持工具調用。據稱，SmolLM3在知識、推理、數學、編碼、長文本等12項基準測試中，在3B參數級別模型中表現優異，性能逼近4B模型，同時保持較低的推理成本，且模型、數據、訓練腳本等均已開源。

核心技術

SmolLM家族的技術核心在於通過精心設計的架構、高質量數據和高效訓練策略，在緊湊參數規模下實現高性能。

模型架構

初始的SmolLM模型中，135M和360M參數模型採用了類似MobileLLM的設計，優先深度擴展而非寬度，並使用了分組查詢注意力（GQA）以提高效率，而1.7B參數模型則採用了相對傳統的Transformer解碼器架構。所有模型的上下文長度均為2048個token，並使用了嵌入共享（embedding tying）。模型使用的分詞器（tokenizer）是在SmolLM-Corpus上訓練的，辭彙量為49152。後續的SmolLM2系列延續了緊湊的Transformer解碼器架構。SmolLM3則採用了GQA與NoPE結合的架構最佳化以提升效率。

訓練數據

核心數據集SmolLM-Corpus是模型高性能的關鍵，它包含三個高質量子集：Cosmopedia v2（由Mixtral模型生成的合成教材和故事內容，約28B tokens）、Python-Edu（從The Stack數據集中根據教育價值篩選的Python示例，約4B tokens）、FineWeb-Edu（對FineWeb數據集去重並基於教育價值精選的網頁內容，約220B tokens）。數據策略持續發展，SmolLM2使用了更廣泛的數據集組合進行訓練，包括FineWeb-Edu、DCLM、The Stack以及新的過濾數據集。SmolLM3的預訓練數據量達到11T tokens。面向多模態的SmolVLM模型的訓練數據則包含14%文本、33%視頻、53%圖像。

訓練策略

初始SmolLM模型中，135M和360M參數模型使用600B tokens進行訓練，1.7B參數模型使用1T tokens進行訓練，訓練採用了梯形學習率策略，總訓練時長的最後20%作為冷卻時間。訓練規模持續擴展，SmolLM2-360M模型在4T tokens上進行了預訓練，而SmolLM3則進行了11T tokens的三階段預訓練。在指令微調與對齊方面，SmolLM2通過監督微調（SFT）結合公共及自整理數據集，並套用直接偏好最佳化（DPO）來開發指令版本，支持文本重寫、摘要生成和函式調用等任務。

技術路線擴展

多模態模型SmolVLM基於SmolLM2的語言模型變體與SigLIP視覺編碼器配對構建，採用圖像分塊、像素重排等技術將視覺特徵映射為語言模型的輸入標記，實現了高效的視覺-語言對齊。基於SmolVLM架構的端到端PDF解析多模態模型SmolDocling，其核心創新在於訓練數據構造引入了新的文檔標記格式DocTags來標準化文檔轉換，語言骨幹使用了SmolLM2家族（135M參數）的輕量級變體。

運營模式

SmolLM項目採用完全開源的運營模式，Hugging Face將包括數據管理到各訓練步驟在內的整個開發過程進行了開源。這種模式旨在降低AI的訪問門檻，並符合該公司對於開源價值主張以及支持可重複研究的承諾。

該模式的核心是公開模型開發的全套資源，包括模型權重、訓練數據集如SmolLM-Corpus、訓練代碼以及技術部落格。

項目採用Apache 2.0開源許可證。模型及相關資源在Hugging Face Hub等平台開源，供用戶免費使用。

這種完全透明的開源模式方便了全球AI社區及開發人員探索、改進並構建這種創新的語言模型方法，有助於高效、隱私友好的小型語言模型技術。

核心團隊

Loubna Ben Allal是SmolLM項目的首席機器學習工程師，在公開介紹中闡述了SmolLM的設計理念、優勢及其在提升AI可及性與隱私保護方面的意義。Leandro von Werra作為Hugging Face的研究團隊負責人，強調了該項目在降低AI門檻和隱私保護方面的重要性。其他核心成員還包括在相關論文和發布信息中署名的Anton Lozhkov、Elie Bakouch、Thomas Wolf等。

重要事件

2024年7月20日，Hugging Face公布了SmolLM小語言模型家族，包含1.35億、3.6億及17億參數三個版本。該系列模型基於SmolLM-Corpus數據集訓練，重點最佳化了記憶體占用，使其能夠在iPhone 15等個人設備上本地運行。

在多項基準測試中，SmolLM-135M的表現超越了Meta的MobileLM-125M；SmolLM-360M優於所有參數低於5億的模型；SmolLM-1.7B則超越了包括微軟Phi-1.5、MobileLLM-1.5B及Qwen2-1.5B在內的所有參數量小於20億的模型。

該系列模型因支持在手機等個人設備本地運行，其性能表現在發布後受到了業界的關注。