Qwen3-1.7B

Qwen3-1.7B是阿里巴巴通義千問系列模型Qwen3的子模型，於2025年4月28日發布並在Apache 2.0許可下開源。該模型屬於Dense稠密模型系列，參數規模為17億，支持32K上下文長度和119種語言多語言處理能力，採用分組查詢注意力（GQA）、SwiGLU激活函式、旋轉位置編碼（RoPE）等技術架構。其預訓練數據量達36萬億token，覆蓋數學、編程及多語言內容，支持思考模式（複雜推理）與非思考模式（高效對話）動態切換。

模型通過魔塔社區、Hugging Face和ModelScope等平台開放使用，支持SFT全參/LoRA/QLoRA微調及GRPO訓練，最低部署配置為1卡A10/GU30（24GB顯存）。作為通義千問3.0系列成員，該模型採用三階段預訓練（30萬億token基礎訓練、5萬億知識增強、32K長上下文擴展）與四階段後訓練最佳化流程，在STEM、編碼領域性能超越前代Qwen2.5-72B-Instruct，並與MCP協定深度集成實現工具調用最佳化。

基本介紹

• 外文名：Qwen3-1.7B
• 所屬：阿里巴巴通義千問

簡介

Qwen3-1.7B是阿里巴巴通義千問系列模型Qwen3的子模型，於2025年4月28日發布並在Apache 2.0許可下開源。該模型屬於Dense稠密模型系列，參數規模為17億，支持32K上下文長度和119種語言多語言處理能力。其預訓練數據量達36萬億token，覆蓋數學、編程及多語言內容。作為通義千問3.0系列成員，該模型支持思考模式（複雜推理）與非思考模式（高效對話）動態切換，並與MCP協定深度集成實現工具調用最佳化。通義千問3.0（Qwen3）系列模型在數學和編程等多個方面均可與DeepSeek的性能媲美，與其他主流模型相比還顯著降低了部署成本。

發展歷史

2025年4月29日，阿里巴巴開源新一代通義千問模型Qwen3系列，其中包含Qwen3-1.7B。模型在Apache 2.0協定下開源，全球開發者、研究機構和企業均可免費在魔搭社區、Hugging Face等平台下載模型並商用，也可以通過阿里雲百鍊調用其API服務。此外，海光DCU等國產硬體平台迅速完成了對包括Qwen3-1.7B在內的全系列模型的適配與調優。

技術架構

Qwen3-1.7B屬於通義千問Qwen3系列中的密集模型架構。該模型採用分組查詢注意力、SwiGLU激活函式、旋轉位置編碼等技術架構。

其預訓練數據量達36萬億token。預訓練過程分為三個階段。第一階段使用超過30萬億個token、4K上下文長度進行訓練以構建基礎語言能力。第二階段通過增加STEM、編程和推理任務等知識密集型數據的比例，在額外5萬億個token上繼續訓練以最佳化模型。第三階段利用高質量長上下文數據將模型的上下文長度擴展至32K。

為了開發兼具深度推理與快速回響能力的混合模型，Qwen3-1.7B採用了四階段的後訓練流程。該流程包括長思維鏈冷啟動、長思維鏈強化學習、思維模式融合以及通用強化學習。作為混合推理模型，其API支持按需設定“思考預算”以控制模型進行不同程度的思考。

此外，該模型原生支持MCP協定，具備強大的工具調用能力。

訓練過程

Qwen3-1.7B的預訓練過程分為三個階段：第一階段（S1）在超過30萬億個token、4K上下文長度上進行基礎訓練；第二階段（S2）通過增加知識密集型數據（如STEM、編程和推理任務）的比例，在額外5萬億token上訓練；第三階段（S3）使用高質量長上下文數據將上下文長度擴展至32K。後訓練採用四階段流程最佳化模型推理能力，包括長思維鏈冷啟動、長思維鏈強化學習、思維模式融合和通用強化學習。

性能表現

Qwen3-1.7B在整體性能上與上代模型相當，例如Qwen3-1.7B/4B/8B/14B/32B-Base分別與Qwen2.5-3B/7B/14B/32B/72B-Base表現相當。特別是在STEM、編碼和推理等領域，Qwen3 Dense基礎模型的表現甚至超過了更大規模的Qwen2.5模型。該模型預訓練數據量達36萬億token，並支持119種語言。此外，模型能夠在思考模式和非思考模式之間無縫切換。

部署與套用

Qwen3-1.7B提供了從本地部署到雲端API調用的多種套用方式，並支持多種微調方法以適應不同場景需求。

硬體與部署環境

Qwen3-1.7B的最低部署配置要求為1卡 A10 / GU30 (24 GB 顯存)。支持的最大Token數為32768(加 RoPE 縮放:131072)。可通過雲平台部署，支持SGLang和vLLM推理引擎。部分國產計算平台已完成對Qwen3-1.7B的適配。

微調與訓練

Qwen3-1.7B模型已支持SFT（全參/LoRA/QLoRA微調）和GRPO訓練。

API調用與生態集成

提供標準API調用接口（/v1/chat/completions），可集成Chatbox、Dify、Cherry Studio等第三方套用。API可按需設定‘思考預算’（即預期最大深度思考的tokens數量），在思考模式（用於複雜的邏輯推理、數學和編碼）和非思考模式（用於高效的通用聊天）之間靈活切換。Qwen3-1.7B原生支持MCP協定，並具備工具調用（function calling）能力。