基本介紹
- 外文名:openPangu-Ultra-MoE-718B-V1.1
- 開源時間:2025年10月15日
簡介,發展歷史,
簡介
openPangu-Ultra-MoE-718B-V1.1是基於昇騰NPU訓練的大規模混合專家(MoE)語言模型,總參數規模達718B,激活參數量為39B。
發展歷史
2025年10月15日,openPangu-Ultra-MoE-718B-V1.1正式在GitCode平台開源,模型權重與技術細節全面公開。
openPangu-Ultra-MoE-718B-V1.1是基於昇騰NPU訓練的大規模混合專家(MoE)語言模型,總參數規模達718B,激活參數量為39B。據介紹,相比上一版本,V1.1在Agent工具調用能力上顯著增強,幻覺率進一步降低。設計原則 立項之初,華為團隊就確立了三項準則:一是可以處理海量數據的大模型;二是能夠發揮模型性能的網路結構...
在預訓練Pangu Ultra MoE 718B模型時,基於昇騰Atlas 800T A2的萬卡集群使模型算力利用率(MFU)達到41%,預計配合高速互聯技術可支撐訓練集群MFU超過50%。在上海交通大學部署DeepSeek系列模型的案例中,該設備幫助實現了硬體投入成本降低65%,並在複雜數學推理任務中有效縮短了端到端時延。發布與開源 2026年1月14日...
