產品定義與定位
MTT S5000是
摩爾執行緒推出的一款AI訓推一體全功能GPU智算卡,適用於大模型訓練、推理及高性能計算場景。該產品基於摩爾執行緒第四代MUSA架構(代號“平湖”),於2024年推出,並於2026年初公開詳細參數。作為一款全功能GPU,MTT S5000支持從FP8到FP64的全精度計算,是國內較早原生支持FP8精度的訓練GPU之一,其單卡AI算力可達1000
TFLOPS。該產品定位為AI計算硬體,已實現對智譜GLM-5、
MiniMax M2.7等大模型的適配,體現了其在軟體生態方面的兼容性。目前,MTT S5000已實現量產,基於其構建的
計算集群已上線,能夠支持萬億參數級別的大模型訓練。
硬體規格與架構
其單卡配備80GB HBM3顯存,顯存頻寬為1.6TB/s,對比上代MTT S4000分別提升了67%和113%。計算方面,單卡FP8 AI算力最高可達1000 TFLOPS(1 PFLOPS),完整支持從FP8到FP64的全精度計算。
該GPU原生支持FP8精度訓練,其內置硬體級FP8
Tensor Core加速單元,FP8相比BF16/FP16可將數據位寬減半、顯存頻寬壓力降低50%、理論計算吞吐量翻倍。
架構上採用第二代張量核心,支持稀疏感知計算與混合精度累加,並重構了片上NoC(網路-on-晶片)拓撲結構,讓數據在計算單元之間流轉延遲降低40%以上。
互聯方面,卡間互聯頻寬為784GB/s,支持多卡高速互聯。
軟體生態與兼容性
其已完整適配智源
FlagOS訓練全要素軟體棧,包括FlagScale系統調度決策框架、Transformer Engine加速庫、FlagGems與Triton運算元庫以及FlagCX通信庫。
在開發支持方面,
摩爾執行緒提供了MUSA SDK、Triton-MUSA、
TileLang-MUSA等開發工具,通過MUSA C++、Triton-MUSA、TileLang-MUSA等抽象層降低了新運算元的遷移成本。
在集群通信層面,
MTT S5000採用獨創的ACE技術,將複雜通信任務從計算核心卸載,提升了模型算力利用率(MFU)。
性能表現與驗證
2026年3月,
摩爾執行緒基於
MTT S5000完整適配了智源FlagOS訓練全要素軟體棧,並面向
Qwen3-0.6B語言模型完成了1T Tokens的從頭訓練驗證,實現了連續6天以上、超過14000步的無中斷穩定訓練。訓練所得模型的Loss曲線與基線高度一致,平均相對誤差控制在0.82%以內,在標準下游任務評測中,相關指標提升1.65個百分點。2026年1月,智源研究院基於MTT S5000千卡集群完成了前沿具身大腦模型
RoboBrain 2.5(數千億參數)的端到端訓練與對齊驗證,MTT S5000與
H100集群的結果一致性較高,損失值(loss)差異為0.62%。
2025年12月,
摩爾執行緒聯合矽基流動基於
MTT S5000完成了對DeepSeek-V3 671B滿血版的深度適配與性能測試,實測單卡Prefill吞吐超過4000 tokens/s,Decode吞吐超過1000 tokens/s。
實測顯示,
MTT S5000從64卡擴展至1024卡,系統的線性擴展效率保持在90%以上,訓練線性擴展效率達95%。基於MTT S5000的夸娥萬卡集群已經落地,其浮點運算能力達到10Flops(每秒1千億億次計算)。
基於
MTT S5000的集群在Dense稠密模型訓練中,模型算力利用率(MFU)達到60%,在MoE專家模型中維持在40%左右,有效訓練時間占比超過90%。