Hunyuan-Large是由騰訊於2024年11月5日發布的開源混合專家（MoE）架構大語言模型，總參數量為389B，激活參數為52B，支持最大256K上下文長度。
該模型訓練數據規模達7T tokens，是當時業界參數規模最大的開源MoE模型。該模型採用共享專家路由策略和隨機補償路由技術提升訓練穩定性，通過合成數據鏈路及多階段預訓練最佳化長文處理能力，並套用Grouped-Query Attention與Cross-Layer Attention壓縮KV Cache至傳統方法的5%。
訓練採用騰訊自研AngelPTM加速框架，性能達DeepSpeed的2.6倍；推理框架實現50%顯存節省及吞吐翻倍。在CMMLU、MMLU等9大評測維度超越Llama3.1、Mixtral等主流開源模型。騰訊開源包含Hunyuan-A52B-Pretrain等三款模型，支持Hugging Face、GitHub平台下載及騰訊雲TI平台部署。
基本介紹
- 外文名：Hunyuan-Large
- 所屬公司 ：騰訊
- 發布時間：2024年11月5日
- 類別：開源大模型
發展歷史,模型簡介,核心技術,核心團隊,
發展歷史
2024年11月5日，騰訊宣布推出一款開源MoE大語言模型Hunyuan-Large。據稱，開源是該公司混元大模型的戰略方向之一，後續計畫推出更多模態與尺寸的開源模型。
模型簡介
該模型的總參數量為389B，激活參數為52B，訓練token數量為7T，最大上下文長度為256K。該模型是基於Transformer的MoE模型。公開測評結果顯示，騰訊混元Large在CMMLU、MMLU、CEval、MATH等多學科綜合評測集以及中英文NLP任務、代碼和數學等9個維度的評測中，評分超過Llama3.1、Mixtral等開源大模型。
本次開源的騰訊混元-Large模型包括Hunyuan-A52B-Pretrain、Hunyuan-A52B-Instruct和Hunyuan-A52B-FP8等版本。其長文處理能力已套用於騰訊AI助手騰訊元寶，支持最大256K上下文。該模型的訓練和推理基於騰訊自研的Angel機器學習平台，其訓練加速框架性能據稱可達DeepSpeed開源框架的2.6倍，配套的推理加速框架在保障精度的條件下可節省顯存。騰訊表示，其開源策略是將已在內部業務場景中使用的模型進行開源。
核心技術
Hunyuan-Large(Hunyuan-MoE-A52B)是基於Transformer架構的 MoE 模型，總參數量為389B，激活參數量為52B。模型採用共享專家路由和隨機補償的路由方式，並為不同專家適配專家特化的學習率。
該模型的訓練數據覆蓋數學、代碼等領域。模型採用超長文Attention訓練和退火策略，通過混合訓練長文與正常文本，支持最大256K上下文長度。
使用Grouped-Query Attention(GQA)和Cross-Layer Attention (CLA)策略對KV Cache進行壓縮。訓練基於騰訊自研Angel機器學習平台，其AngelPTM加速框架用於提升訓練性能；推理採用AngelHCF-vLLM框架以最佳化顯存使用和吞吐量。
騰訊混元團隊公開了用於定位RLVR訓練中異常梯度Token的工具Gradient Anomaly Localizer (GradLoc)。
核心團隊
康戰輝為騰訊機器學習平台總監、騰訊混元大語言模型算法負責人。他在2024年11月表示，騰訊開源的大模型是內部業務中經過歷練和打磨的模型，與公司內套用模型同宗同源。
2024年11月，騰訊傑出科學家、騰訊混元大模型技術負責人之一劉威從騰訊離職。
