研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
華為昇騰平台面向多模態大模型的分散式訓練框架MindSpeed MM，其研發背景可追溯至華為在2024年全連線大會上正式發布的昇騰分散式加速套件MindSpeed 1.0。該套件的發布旨在解決多模態、MoE（混合專家）及超長序列等新場景下的分散式訓練效率難題。通過提供100+預置模型、60+加速算法及運算元、10餘種微調算法，降低從預訓練到增量訓練的分散式開發成本，加速模型疊代。
發展歷程
2024年，在華為全連線大會2024上，昇騰分散式加速套件MindSpeed 1.0正式發布，預置100+模型、60+加速算法及10餘種微調算法。
2025年04月28日，昇騰MindSpeed商用版2.0.0版本發布，MindSpeed MM新增支持SD3.5、CogvideoX1.5、Hunyuan Video、InternVL2.5、InternVL2、Qwen2VL等6個系列社區主流多模態大模型，並增強了理解模型和生成模型的並行能力。
2025年07月25日，昇騰MindSpeed商用版2.1.0版本發布，MindSpeed-MM新增對Qwen2.5VL、Wan2.1等系列模型的支持，並增加了mindspore後端，對數據等關鍵模組完成重構，增強了模型易用性。
2025年07月31日，首個基於昇騰MindSpeed MM訓練的多模態生成理解統一模型Lumina-DiMOO正式發布。
2025年09月25日，昇騰MindSpeed社區版2.1.0版本發布，功能與商用版2.1.0同步，MindSpeed-MM同樣新增了系列模型支持與後端最佳化。
核心技術
MindSpeed MM採用“硬體-加速-套用”三層架構，全面支持FSDP訓練後端。該框架通過模型無感知的設計理念，無縫親和PyTorch生態，降低了新模型的適配成本。
框架的核心最佳化引擎MindSpeed Core，從計算、記憶體、通信、並行四個維度對多模態大模型訓練進行深度最佳化，以提升在昇騰硬體上的訓練效率。
計算最佳化：提供多種融合運算元（如npu_fusion_attention、RoPE、RMSNorm融合運算元）以提升計算性能；通過等價改寫減少開銷；利用昇騰晶片矩陣與向量計算單元分離的特點，實現矩陣與向量並行計算。
記憶體最佳化：支持顯存復用技術，使同一塊顯存同時表示fp32和bf16精度數據；通過動態顯存釋放技術，在計算完成後及時釋放中間激活張量的物理顯存；提供虛擬顯存接口，支持將部分顯存數據交換至主機記憶體。
通信最佳化：採用計算通信掩蓋技術，將計算與通信操作並行執行；對DualPipe進行改進，將共享專家計算與All-to-All通信並行，掩蓋異步通信開銷。
並行最佳化：針對多模態訓練負載不均的挑戰，提供多模態異構流水線並行、動態流水線並行、數據分桶負載均衡、Encoder數據負載均衡等最佳化特性。此外，還支持一系列先進的通用並行策略：虛擬流水並行通過巧妙調整Warmup階段拆解前後向依賴；MoE專家並行支持“數參互尋”特性，緩解專家負載不均；Swap Attention技術將Attention激活臨時交換至主機記憶體；Ulysses融合RingAttention技術融合節點內All-to-All與節點間點對點通信，支持超長序列模型訓練；重計算獨立調度技術利用流水線空泡執行重計算，壓縮空泡時間；MoE的EDP模式在小專家場景下避免權重切分對計算效率的影響。
運營模式
MindSpeed MM採用開源開放的運營模式，以構建開發者生態。其核心代碼及多個主流模型的適配實現已在Gitee等平台開源，支持開發者下載使用和進行二次開發。例如，MindSpeed MM開發團隊對Qwen2.5VL等模型進行適配並正式開源，並首次實現了對GLM多模態理解模型的無縫支持與同步開放原始碼。首個基於該框架訓練的多模態生成理解統一模型Lumina-DiMOO的全流程訓練代碼也已計畫在MindSpeed MM開源。為促進技術交流與生態共建，華為會舉辦“MindSpeed Meetup”等技術社區活動，邀請架構師和高級工程師分享最新進展。同時，為加速AI技術在垂直行業的落地，MindSpeed MM推出了“行業模板庫”，針對醫療、安防等特定領域預置最佳化模組，降低企業定製化開發門檻。展望未來，MindSpeed MM致力於進一步擴大生態開放，計畫支持更多第三方模型接入，並與低代碼平台融合，降低多模態AI的套用門檻。
核心團隊
鄭加利是華為高級工程師，主導MindSpeed框架基礎架構設計構建。MindSpeed架構師韓俊在MindSpeed Meetup等活動中介紹框架生態發展。華為多模態算法高級工程師朱彥儒負責介紹多模態模型套件MindSpeed MM。
重要事件
2025年4月28日，昇騰MindSpeed商用版2.0.0版本發布，MindSpeed MM新增支持SD3.5、CogvideoX1.5、Hunyuan Video、InternVL2.5、InternVL2、Qwen2VL等6個系列社區主流多模態大模型，並支持理解與生成模型的並行處理。
2025年7月25日，昇騰MindSpeed商用版2.1.0版本發布，MindSpeed-MM新增Qwen2.5VL、Wan2.1、Qwen2.5VL GRPO等系列模型，增加mindspore後端，並對數據等關鍵模組完成重構。同年9月25日，昇騰MindSpeed社區版2.1.0版本發布，MindSpeed-MM新增模型與特性同商用版2.1.0。
2025年7月31日，首個基於昇騰MindSpeed MM訓練的多模態生成理解統一模型Lumina-DiMOO發布。該模型在2025年世界人工智慧大會(WAIC)上推出，基於昇騰Atlas 800T A2訓練伺服器完成訓練。
2025年8月31日，MindSpeed Meetup·杭州站舉辦。會上，華為多模態算法高級工程師介紹了MindSpeed MM套件，該套件統一支持業界主流訓練後端，可在昇騰硬體上運行。
2026年2月8日，MindSpeed MM新增支持FSDP訓練後端，旨在降低多模態模型的開發與調優門檻。
2026年2月17日，華為計算官方宣布，Qwen3.5模型開源發布後，昇騰平台基於MindSpeed MM框架在Atlas 800 A3、Atlas 900 A3SuperPoD上實現了0 Day訓練復現，縮短了新模型的適配周期。
