SmolLM3

SmolLM3是3B參數模型，性能超越Llama-3.2-3B和Qwen2.5-3B，支持128K上下文視窗及6種語言。

基本介紹

• 外文名：SmolLM3
• 發布方：Hugging Face

產品簡介

模型採用雙模式系統，用戶可通過標誌在深度思考和非思考模式間靈活切換。

產品訓練

採用三階段混合訓練策略，在11.2萬億tokens上訓練，並開放架構細節、數據混合方式等全部技術細節。