MoE稀疏架構

MoE稀疏架構是科大訊飛於2026年2月11日發布的星火X2大模型所採用的核心技術架構。該架構為293B參數的混合專家模型，通過稀疏激活機制提升參數使用效率。星火X2結合權重量化、低精度KVCache、VTP、分層通信等多種工程化創新，實現了國產平台的高效部署，其推理性能相比上一代提升50%。針對MoE大模型強化學習訓練中的訓推分布不一致問題，提出了訓練與推理機率重採樣自適應校準算法。

基本介紹

• 中文名：MoE稀疏架構
• 上市時間：2026年2月11日

技術架構

星火X2大模型採用293B MoE稀疏架構。該架構結合了權重量化、低精度KVCache、VTP（虛擬張量並行）和分層通信等多種工程化創新。這些創新支持國產大EP並行部署，並可在單台昇騰伺服器上運行。推理性能相比上一代（X1.5）有50%的提升。

針對MoE大模型強化學習訓練中的訓練與推理機率分布不一致問題，提出了訓練與推理機率重採樣自適應校準算法，以提升訓練準確率和穩定性。該模型基於全國產算力訓練。

架構特點

星火X2採用293B參數的MoE稀疏架構。該架構通過稀疏激活機制提升參數使用效率，在保證模型能力的同時降低計算開銷。星火X2結合了權重量化、低精度KVCache、VTP(Virtual Tensor Parallel)、分層通信等多種工程化創新。其推理性能相比上一代或X1.5有所提升。針對MoE大模型RL訓練中的訓推分布不一致問題，星火X2提出了訓練與推理機率重採樣自適應校準算法，以提升強化學習訓練的準確率和穩定性。

工程化創新

星火X2大模型結合權重量化、低精度KVCache、VTP(Virtual Tensor Parallel)、分層通信等多種工程化創新，實現了國產大EP並行部署。針對MoE大模型在強化學習訓練中的訓練與推理機率分布不一致問題，提出了訓練與推理機率重採樣自適應校準算法，大幅提升強化學習訓練的準確率和穩定性。模型的推理性能相比X1.5提升了50%。

性能表現

星火X2大模型採用293B MoE稀疏架構，結合權重量化、低精度KVCache、VTP(Virtual Tensor Parallel)、分層通信等多種工程化創新，實現了國產大EP並行部署，其推理性能相比X1.5提升50%。

套用與部署

星火X2大模型基於國產算力進行訓練。該架構可在國產平台上部署，並支持大模型並行部署，通過量化技術可在單台昇騰伺服器上運行。其推理性能相比上一代有所提升。

市場反響

MoE稀疏架構的套用是國產大模型在算法與工程實踐中的一個發展方向。部分國產大模型在能力上與國際先進模型進行比較。

發布與意義

搭載MoE稀疏架構的星火X2大模型於2026年2月11日由科大訊飛正式發布。該模型基於全國產算力訓練。