Qwen2-57B

Qwen2-57B是阿里巴巴公司於2024年6月7日開源的Qwen2系列混合專家（MoE）對話模型之一，屬於Qwen系列的重大升級版本。該模型性能在全球開源模型中處於領先水平，超過了美國最強開源模型Llama3-70B及中國多個閉源模型。Qwen2-57B支持最長128K tokens的上下文處理，並採用分組查詢注意力（GQA）技術最佳化推理效率和顯存占用。其多語言能力涵蓋27種語言，在代碼生成、數學推理等方面表現顯著提升。

基本介紹

• 發布時間：2024年6月
• 模型類型：MoE對話模型
• 上下文長度：128K tokens
• 多語言支持：27種
• 開源平台：Hugging Face和ModelScope   
• 安全性能：與GPT-4表現相當 

模型系列

Qwen2-57B隸屬於Qwen2系列，該系列包含五個不同規模的預訓練和指令微調模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B。其中Qwen2-57B-A14B版本採用了混合專家架構。

技術特點

Qwen2-57B引入了分組查詢注意力（GQA）技術，顯著提升了推理速度並降低了顯存占用。Qwen2-57B屬於Qwen2系列大模型之一，該系列還包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B。模型訓練數據新增了27種語言相關的高質量數據，增強了多語言理解和生成能力。截至2024年，該模型上下文長度可擴展至128K tokens，在處理長文本任務中具有優勢。

性能評測

在多項評測基準中，Qwen2-57B表現優異。據2024年發布的數據顯示，Qwen2系列整體性能超過美國開源模型Llama3-70B，並在代碼、數學等專項評測中領先於中國閉源模型文心4.0、豆包pro等。其安全性能評估結果與GPT-4相當。

套用情況

截至2024年，Qwen系列模型總下載量突破1600萬次，基於Qwen二次開發的模型和套用超過1500款。阿里雲同時開源了智慧型體解決方案，支持處理128K tokens級別的超長上下文。