Qwen1.5-110B

Qwen1.5 110B是通義千問團隊於2024年4月首次推出的千億級參數開源大語言模型。該模型基於Transformer解碼器架構構建，採用分組查詢注意力方法最佳化推理效率，支持32K tokens的上下文長度，具備中、英、法、德等十餘種語言的多語言處理能力。在MMLU、TheoremQA、GPQA等基準測試中，其性能超越同系列720億參數模型，基礎能力與Meta-Llama-3-70B相媲美。作為通義千問“全尺寸”開源路線的重要組成部分，110B參數版本主要服務於企業級與科研級套用場景。

基本介紹

• 參數規模：1100億
• 發布時間：2024年4月 
• 上下文長度：32K tokens 
• 多語言支持：10餘種 
• 架構類型：Transformer解碼器 
• 開源狀態：開源 

技術架構

Qwen1.5-110B延續了通義千問系列模型的Transformer解碼器架構，採用分組查詢注意力（GQA）方法降低推理過程中的計算資源消耗，提升處理效率。這一技術路徑使得模型在處理長序列文本時保持較高的回響速度，同時支持32K tokens的上下文視窗，增強了對話連貫性和複雜任務處理能力。

多語言能力

模型涵蓋中文、英語、法語、德語、西班牙語、俄語、日語、韓語、越南語、阿拉伯語等十餘種語言的支持能力，其中對中文的最佳化處理尤為突出。通過擴展詞表規模與改進分詞策略，Qwen1.5 110B在多語言翻譯、跨語言信息檢索等場景中展現較高的準確度。

性能評測

在MMLU（大規模多任務語言理解）、TheoremQA（數學定理推理）、GPQA（通用科學問答）等基準測試中，Qwen1.5-110B的綜合得分超過Llama-3 70B，與同系列720億參數模型相比提升幅度達15%-20%。截至2024年4月，該模型在HuggingFace開源大模型排行榜Open LLM Leaderboard中位列榜首。

套用定位

作為通義千問全尺寸開源系列中參數規模最大的版本，Qwen1.5-110B主要面向需要高算力支撐的企業級套用與科研機構需求。在金融數據分析、跨語言客服系統、複雜科研模擬等場景中，該模型可通過微調適配垂直領域任務。