Qwen2是由中國阿里雲通義千問團隊於2024年開發的開源語言模型系列，涵蓋基礎模型及指令調優版本，包含0.5B到72B參數規模的密集模型與混合專家模型（MoE）。該系列採用分組查詢注意力(GQA)機制最佳化顯存占用與推理效率，Qwen2-57B-A14B為MoE架構代表型號，全系模型通過新增27種語言數據及128K長上下文支持提升多語言理解能力。
Qwen2系列包含5個參數版本，旗艦型號Qwen2-72B在史丹福大學HELM MMLU測評中位列開源模型榜首，性能超越同期Llama3-70B等主流模型。其訓練數據覆蓋文本理解、代碼生成等通用場景，通過魔搭社區、Hugging Face等平台開源並提供API服務，總下載量突破1600萬次，衍生出超1500款二次開發模型。技術升級包括數學推理能力增強、YARN方法擴展上下文長度及多模態生態擴展規劃。
基本介紹
- 軟體名稱：Qwen2
- 開發商：阿里通義
模型特點,發展歷史,所獲成就,
模型特點
Qwen2系列包含5個尺寸的預訓練和指令微調模型，Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B，其中Qwen2-57B-A14B為混合專家模型（MoE）。Qwen2所有尺寸模型都使用了GQA（分組查詢注意力）機制，以便讓用戶體驗到GQA帶來的推理加速和顯存占用降低的優勢。
發展歷史
2024年6月7日，阿里雲更新技術部落格：重磅發布開源模型Qwen2-72B，性能超過美國最強的開源模型Llama3-70B，也超過眾多中國閉源大模型。所有人均可在魔搭社區和Hugging Face免費下載通義千問最新開源模型。當日，Qwen2系列模型的API第一時間登入阿里雲百鍊平台。TensorRT-LLM、OpenVINO、OpenCompass、XTuner、LLaMA-Factory、Firefly、OpenBuddy、vLLM、Ollama等眾多全球開源平台和工具，也第一時間宣布支持Qwen2最新款模型。
所獲成就
2024年，在史丹福大學的大模型測評榜單HELM MMLU中，阿里巴巴的通義千問開源模型Qwen2-72B排名第5，是排名第一的開源大模型，也是排名最高的中國大模型。
