基本介紹
- 中文名：Muon最佳化器
- 外文名：Muon
- 用途：深度學習最佳化
性能效果,發展與改進,發布與反響,
性能效果
Muon在圖像分類任務CIFAR-10上將訓練至94%準確率的時間從3.3 A100秒縮短至2.6 A100秒，速度提升約21%，並在語言模型預訓練任務NanoGPT基於FineWeb數據集上將驗證損失達到3.28的訓練速度提升了1.35倍。
當參數規模擴展到774M和1.5B時，Muon繼續顯示出訓練速度優勢；使用8張H100 GPU訓練一個1.5B參數的Transformer模型在HellaSwag任務上達到GPT-2 XL性能水平，Muon僅需10小時，而使用AdamW需要13.3小時，效率提升約25%。
Essential AI的研究表明，在達到相同訓練目標時，Muon比AdamW可節省10-15%的數據處理量，顯著擴展了帕累托邊界，且在大批量訓練場景下Muon比AdamW更能保持數據效率。
月之暗面的改進版Muon最佳化器算力需求比AdamW減少48%，在參數量最高1.5B的不同Llama架構模型上樣本效率是AdamW的1.92倍。
發展與改進
2025年2月，月之暗面團隊對Muon進行了重要改進，主要包括引入了AdamW中的權重衰減機制，並調整了參數更新尺度使不同形狀矩陣參數的更新幅度保持一致。在Llama架構的系列模型上驗證，Muon的樣本效率達到AdamW的1.92倍，訓練所需算力為AdamW的52%。團隊基於改進的Muon訓練了名為Moonlight的MoE模型，該模型在多項中英文理解、推理、代碼和數學任務上的表現優於部分同規模模型。
2025年5月，Essential AI研究團隊發表了首篇關於Muon最佳化器的系統性研究論文《Practical Efficiency of Muon for Pretraining》。該研究證實，在計算-時間權衡方面，Muon比AdamW更能擴展帕累托邊界。Muon在大批量訓練時保持效率的能力優於AdamW，在達到相同訓練目標時，通常可以比AdamW節省10-15%的數據處理量。研究者在最大3.7B參數的模型上驗證了該方法的有效性。
Muon已被集成到分散式訓練框架中，有研究將Muon作為DiLoCo框架的內部最佳化器（稱為MuLoCo），並結合誤差反饋累加器等壓縮技術，可以將通信的參數變化量壓縮到2位，在通信量減少8倍的情況下優於原始DiLoCo，幾乎不會導致性能下降。
已有研究探索了Muon在指導微調階段的效果，結果表明在預訓練和微調階段均使用Muon通常能取得較好效果。
發布與反響
Muon最佳化器由Keller Jordan於2024年12月通過其個人部落格《Muon: An optimizer for hidden layers in neural networks》首次公開發布。此次發布並非傳統的學術論文形式，而是一篇包含算法思路、偽代碼和實證結果的部落格文章。
因Muon展現出的性能，該部落格及最佳化器在機器學習社區引起關注和討論。發布後不久，Keller Jordan於2024年12月成功入職OpenAI。Keller Jordan在部落格中提出了對最佳化器研究證據標準的看法，認為新的神經網路訓練方法應在競爭性訓練任務中證明其實效。
