Ling-2.0 MoE架構是螞蟻集團在2025年提出的一種高稀疏度混合專家模型架構。其核心採用統一的MoE基礎架構，配置256個路由專家、8個激活專家和1個共享專家，整體激活率約為3.5%。基於該架構衍生出包括Ling-mini-2.0、Ling-flash-2.0和Ling-1T等在內的模型系列。其中Ling-1T為萬億參數模型，全程採用FP8混合精度訓練。
研發背景,發展歷程,核心技術,架構設計,Ling縮放定律,路由均衡策略,多Token預測（MTP）,訓練策略,工程最佳化,核心團隊,重要事件,
研發背景
Ling-2.0 MoE架構是螞蟻集團開發的混合專家模型架構。該架構從設計之初即面向萬億參數基座模型的充分訓練計算規模。其核心設計理念為“推理優先(Reasoning-First)”，目標是“讓每一次激活都提升推理能力”。為實現這一目標，架構採用了高稀疏度、細粒度的MoE設計，例如配置256個路由專家、8個激活專家和1個共享專家，整體激活率約為3.5%，旨在保持模型性能的同時減少每次推理的計算量。架構的關鍵決策，如激活專家數量，均由自研的Ling Scaling Laws指導確定，以確保從160億到1萬億參數規模間的架構效率接近最優。
發展歷程
2025年9月17日，螞蟻百靈大模型團隊開源了基於Ling-2.0架構的MoE大模型Ling-flash-2.0。2025年9月30日，螞蟻集團在Hugging Face上線了採用Ling-2.0 MoE架構的首個萬億參數大模型「Ring-1T-preview」。2025年10月9日，螞蟻集團發布萬億參數旗艦模型Ling-1T，該模型是Ling-2.0系列的第一款旗艦模型。2025年10月25日，螞蟻集團在arXiv公開了詳細技術報告《Ling 2.0 Technical Report》，全盤公開了Ling-2.0的訓練細節。2026年2月11日，螞蟻集團開源發布了基於Ling-2.0架構訓練的全模態大模型Ming-Flash-Omni 2.0。
核心技術
Ling-2.0 MoE架構的核心技術圍繞一個統一的、高稀疏度與細粒度的混合專家架構展開，旨在以極低的激活計算成本實現強大的推理能力。其技術體系主要包括架構設計、指導理論（Ling縮放定律）、路由均衡策略、多Token預測（MTP）輔助訓練、多階段訓練策略以及一系列工程最佳化。
架構設計
Ling-2.0採用統一的MoE基礎架構，每層配置256個路由專家，每次推理激活其中8個專家及1個始終開啟的共享專家，整體激活率約為3.5%（1/32）。這種高稀疏度、細粒度的設計使得模型（如Ling-flash-2.0）能以僅6.1B的激活參數實現媲美400億級稠密模型的性能，計算效率槓桿高達7倍。該架構並非均勻堆疊，而是混合了Dense層、MoE層和MTP層，形成異構計算結構。
Ling縮放定律
研究人員從一開始就將訓練萬億參數模型作為目標，並制定了Ling縮放定律用於指導從16B到1T規模的最優超參數與架構選擇（如激活專家數）。該定律是一個統一的EL縮放定律，整合了計算預算（C）、激活率（A）和專家粒度（G）的影響，確保了架構效率接近最優，並可通過低成本的風洞實驗驗證新技術。
路由均衡策略
為確保訓練穩定性，Ling-2.0採用了無輔助損失（aux-loss-free）的Sigmoid路由打分與專家負載均衡策略。該策略遵循與DeepSeek-V3類似的設計，通過路由器門縮放，在促進專家專業化的同時實現負載均衡，避免了傳統MoE訓練中的震盪問題。
多Token預測（MTP）
Ling-2.0原生集成了多Token預測層作為輔助訓練目標，為每個模型規模引入一個MTP層，並將MTP損失權重設定為0.1。這一設計從底層強化了模型在數學與代碼等領域的複雜推理能力。在工程實現上，通過在訓練框架內為MTP模組實現細粒度的流水線並行劃分，以降低其性能開銷。
訓練策略
Ling-2.0採用多階段訓練策略。預訓練階段使用超過20T Token的高質量、高推理濃度語料。中期訓練階段將上下文長度擴展至128K，並引入思維鏈（CoT）數據預先激活模型的推理能力。後訓練階段採用分層最佳化，包括解耦的監督微調、進化推理強化學習（Evo-CoT/RLVR）以及人類偏好對齊。訓練中創新性地採用WSM（預熱-穩定-合併）調度器，用檢查點合併替代傳統學習率衰減，提供更高靈活性。
工程最佳化
為支撐萬億參數規模的高效訓練，Ling-2.0在基礎設施層面進行了多項系統級最佳化。採用全量FP8混合精度訓練，結合細粒度的塊級量化策略與QK-Norm等技術抑制異常值，在Ling-1T上實現了與BF16相當的損失表現，同時帶來約15%的端到端訓練加速與顯存節省。針對層間異構架構導致的負載不均，對交錯1F1B流水線策略進行改進，實現了更精細的流水線編排與更低的空泡率，帶來40%以上的端到端加速。分散式訓練框架基於4C原則構建大模型軟體工程。
核心團隊
Ling-2.0 MoE架構由螞蟻集團的Inclusion AI團隊（亦稱百靈團隊或Ling Team）研發。
該團隊的技術成果（如Ling-1T）獲得了包括吳恩達在內的業界專家的關注，吳恩達在The Batch Newsletter中對其性能表示關注。
重要事件
2025年9月17日，螞蟻百靈大模型團隊正式開源其最新MoE大模型Ling-flash-2.0。該模型以總參數100B、激活僅6.1B的輕量級配置，在多個權威評測中展現出媲美甚至超越40B級別Dense模型的性能。模型在Hugging Face、ModelScope等主流平台開源。
2025年9月30日，螞蟻集團研發的首個萬億參數大模型Ring-1T-preview在Hugging Face上線。該模型採用Ling-2.0 MoE架構。
2025年10月9日，螞蟻集團發布萬億參數的通用語言模型Ling-1T。Ling-1T是螞蟻百靈大模型Ling 2.0系列的第一個模型，沿用Ling 2.0架構。該模型全程採用FP8混合精度訓練，是目前已知規模最大的使用FP8訓練的基座模型。
2025年10月25日，螞蟻集團在arXiv上傳了技術報告《Ling 2.0 Technical Report》，全盤公開了Ling 2.0系列模型的訓練細節、架構設計與技術思考。
2026年2月11日，螞蟻集團開源發布全模態大模型Ming-Flash-Omni 2.0。該模型基於Ling-2.0架構訓練，在視覺理解、音頻生成與圖像編輯等多任務上均有涉及。
