Ling-flash-2.0是螞蟻集團百靈大模型團隊開發的混合專家(MoE)大語言模型,於2025年9月18日在矽基流動大模型服務平台首發上線並開源。該模型總參數規模1000億,每次推理激活參數61億(非嵌入激活48億),支持128K上下文長度,在H20硬體平台上可實現每秒200+ token的生成速度。
模型採用MoE架構設計,通過1/32激活比例和專家粒度調優等技術,在代碼生成、前端研發、數學最佳化求解等場景展現出媲美40B參數Dense模型的性能。其預訓練基於20T+ token的高質量語料,分三階段進行:前兩階段分別側重知識積累與推理能力提升,第三階段擴展至32K上下文長度。後訓練流程包含解耦微調、ApexEval評測和演進式強化學習,涵蓋金融建模、工業調度等專業領域。該模型已通過Hugging Face、ModelScope等平台開源,採用MIT許可協定。
基本介紹
- 外文名:Ling-flash-2.0
- 研發單位:螞蟻集團百靈團隊
