Qwen2.5-1M是由阿里雲通義千問Qwen團隊於2025年1月27日推出的開源大語言模型系列，原生支持百萬Token（1M）級別的超長上下文處理能力。該系列包含Qwen2.5-7B-Instruct-1M（70億參數）和Qwen2.5-14B-Instruct-1M（140億參數）兩個版本，首次將Qwen系列開源模型的上下文長度擴展至百萬量級。
模型通過Dual Chunk Attention等技術機制實現長上下文擴展，可處理等效於200萬字文本、150小時語音轉寫稿或3萬行代碼的輸入容量。在推理最佳化層面，基於vLLM框架集成稀疏注意力機制，使百萬Token輸入的推理速度提升3-7倍。2025年基準測試顯示，其14B版本在RULER、LV-Eval等長文本任務中表現優於前代128K版本及GPT-4o-mini模型。
基本介紹
- 開發團隊：阿里雲通義千問團隊
- 發布時間：2025年1月27日
- 模型版本：7B/14B參數
- 上下文長度：1M Token
- 技術機制：Dual Chunk Attention
- 開源平台：ModelScope/HuggingFace
技術特點,性能表現,套用場景,開源生態,
技術特點
通過三步技術創新實現長文本處理突破：首先採用逐步擴展法將上下文視窗從4K擴展至1M；其次創新Dual Chunk Attention機制，在保持注意力的同時降低計算複雜度；最後結合vLLM推理框架的稀疏注意力最佳化，使預填充速度提升3.2-6.7倍。
性能表現
在2025年公開測試中，Qwen2.5-14B-Instruct-1M展現以下能力：
- 大海撈針測試（Passkey Retrieval）中準確檢索百萬Token文檔內的隱藏信息
- RULER評測集綜合得分超越Qwen2.5-Turbo閉源模型
- LV-Eval長視頻理解任務表現穩定優於GPT-4o-mini
短文本任務性能與128K版本持平，在代碼理解、數學推理等場景保持原有水平。
套用場景
- 文檔處理: 直接解析書籍、長篇報告、法律檔案等超長文檔
- 對話系統: 支持更長時間的歷史記錄記憶，實現連貫互動
- 代碼分析: 單次處理3萬行級代碼庫的全局分析
開源生態
配套推出完整技術棧支持：
- 模型權重在ModelScope、HuggingFace平台開源
- 提供基於阿里雲百鍊平台的API調用服務
- 上線Qwen Chat平台供開發者體驗互動性能
截止2025年1月，該系列模型已成為開源社區長文本處理的主要解決方案，相關技術論文與訓練細節已通過官方渠道披露。
