Qwen3-4B-Base是阿里巴巴通義千問團隊於2024年4月29日發布的最新大型語言模型系列中的一款基礎預訓練模型。該模型為因果語言模型，擁有40億參數，採用Apache License 2.0開源協定，支持32,768的上下文長度。
作為Qwen系列的最新疊代，Qwen3-4B-Base基於廣泛的訓練，在訓練數據、模型架構和最佳化技術方面進行了改進。其預訓練使用了覆蓋119種語言的36萬億標記語料庫，並採用了包含三階段的預訓練流程。
研發背景,發展歷程,核心技術,運營模式,
研發背景
Qwen3-4B-Base是一個參數規模為40億（4B）的密集模型。該模型是一個預訓練的因果語言模型，屬於輕量化大模型。該模型採用Apache License 2.0開源協定。
發展歷程
Qwen3系列模型於2025年4月29日由阿里雲千問團隊正式發布。該系列包含2個混合專家（MoE）模型和6個稠密（Dense）模型，總計8個不同尺寸。Qwen3-4B-Base作為該系列的基礎模型之一，在此次發布中同期推出。
發布前後，該系列模型（包括Qwen3-4B-Base）曾在阿里巴巴旗下的AI模型開源社區ModelScope（魔搭）短暫亮相，後正式上線。
後續，阿里雲人工智慧平台PAI（Platform for AI）的Model Gallery接入了Qwen3系列的全部8個尺寸模型，以及其對應的Base模型和FP8量化模型，總計22個相關模型，並為開發者提供了模型部署、評測與微調（支持SFT、LoRA、QLoRA及GRPO訓練）等支持。
核心技術
Qwen3-4B-Base採用了三階段預訓練策略，第一階段專注於廣泛的語言建模和一般知識獲取，第二階段提高STEM、編碼和邏輯推理等推理技能，第三階段通過將訓練序列長度延長至32k標記來增強長上下文理解能力。在訓練中，模型採用了如qk層歸一化等技術以提高訓練的穩定性和整體性能。
該模型的特點在於通過架構創新而非單純參數壓縮，在40億參數規模下實現了接近更大模型的性能。其核心設計理念包含動態注意力機制、異構參數分配、漸進式知識蒸餾等技術維度。在注意力模組上，採用了“局部+全局”雙路徑設計的混合注意力機制；在參數效率最佳化上，運用了層共享機制、條件計算、知識增強嵌入等策略。該模型在MMLU、BBH等基準測試中進行了評估。
運營模式
Qwen3-4B-Base的運營以開源、易用和全面支持為核心理念。模型權重可通過阿里巴巴旗下的AI模型開源社區ModelScope以及Hugging Face等平台獲取。阿里雲人工智慧平台PAI的Model Gallery已接入包括Qwen3-4B-Base在內的全系列模型，為用戶提供便捷的訪問渠道。
在雲端，用戶可以通過阿里雲PAI平台對Qwen3系列模型進行一鍵部署、評測與微調。在本地部署方面，Qwen3-4B-Base的最低硬體要求為1張具有24GB顯存的顯示卡（如A10或GU30）。官方提供了詳細的部署指南，涵蓋使用Docker容器部署、進行純模型推理對話測試、性能測試以及配置服務化推理等步驟。模型支持TP（張量並行）為1、2、4、8的推理配置。
Qwen3-4B-Base已支持監督微調（SFT），包括全參數微調、LoRA、QLoRA以及生成式拒絕偏好最佳化（GRPO）訓練。
Qwen3-4B-Base的運營主要面向開發者、研究人員及企業用戶，旨在支持其在輕量化套用部署、下游任務開發及學術研究等場景下的使用需求。
