Qwen3-0.6B是由阿里巴巴旗下通義千問團隊開發的大型語言模型，屬於Dense架構，於2025年4月29日正式發布。Qwen3系列包含2個MoE模型和6個Dense模型，Qwen3-0.6B是其中之一。
該模型基於Apache 2.0協定開源，參數規模為0.6B，採用28層Transformer結構，支持32768個token的上下文長度，並通過RoPE縮放擴展至131072。其注意力機制包含16個查詢頭和8個鍵值頭，預訓練階段覆蓋119種語言與36萬億令牌數據。2025年7月27日，該模型的FP8量化版本發布。Qwen3-0.6B支持在單個模型內無縫切換思維模式和非思維模式。該模型支持SFT（全參/LoRA/QLoRA微調）和GRPO訓練。部署時最低需要1卡A10/GU30（24GB顯存）。
基本介紹
- 外文名：Qwen3-0.6B
- 所屬：阿里巴巴
- 上市時間：2025年4月29日
簡介,技術規格,部署與套用,推理與集成,部署方式,量化版本,思考模式,微調支持,硬體配置要求,發展歷史,
簡介
Qwen3-0.6B是通義千問團隊於2025年4月29日發布的Qwen3系列模型之一，屬於Dense架構。Qwen3-0.6B是阿里巴巴Dense模型，在Apache 2.0許可下開源。
模型參數規模為0.6B，支持32768個token的上下文長度，並可通過RoPE縮放擴展至131072。其預訓練數據規模約36萬億個token，覆蓋119種語言和方言。
模型支持SFT和GRPO微調，並可通過Hugging Face Transformers、vLLM、Ollama等多種工具進行部署與調用。
技術規格
Qwen3-0.6B的參數規模為0.6B，其中非嵌入參數為0.44B。模型採用28層Transformer結構。注意力機制採用GQA，包含16個查詢頭和8個鍵值頭。模型原生支持32768個token的上下文長度，並通過RoPE縮放可擴展至131072個token，但擴展後可能損失部分性能。
部署與套用
Qwen3-0.6B模型已集成至主流開源生態。用戶可通過Hugging Face Transformers庫進行推理，也可利用多種框架進行部署、量化及微調。
推理與集成
該模型已集成至Hugging Face Transformers庫。使用transformers=4.51.0版本。此外，PaddleNLP也已支持Qwen3系列模型。
部署方式
對於服務化部署，用戶可以使用sglang>=0.4.6.post1或vllm>=0.8.5來創建一個與OpenAI兼容的API端點。對於本地使用，Ollama、LMStudio、MLX-LM、llama.cpp和KTransformers等應用程式也已支持Qwen3。
量化版本
為方便部署和提升性能，官方提供了FP8量化版本的模型檢查點，其名稱以"-FP8"結尾。量化方法是塊大小為128的細粒度FP8量化。
思考模式
該模型支持在單個模型內無縫切換思維模式和非思維模式。可通過enable_thinking參數控制切換。對於思考模式，推薦使用Temperature=0.6, TopP=0.95, TopK=20和MinP=0；對於非思考模式，推薦使用Temperature=0.7, TopP=0.8, TopK=20和MinP=0。
微調支持
Qwen3-0.6B模型支持全參數微調、LoRA、QLoRA以及GRPO訓練。
硬體配置要求
該模型原生支持token長度為32768，通過RoPE縮放技術支持最大131072長度的token。其最低部署配置為1張A10或GU30顯示卡。
發展歷史
2025年4月29日，Qwen3-0.6B發布。
