Skywork-MoE是崑崙萬維於2024年6月開源的一款稀疏混合專家（MoE）架構大模型，總參數量達146B（激活參數量22B），隸屬於天工3.0系列的中檔模型。該模型基於此前開源的Skywork-13B模型中間檢查點擴展研發，通過16個專家模組（每個13B）實現動態稀疏計算，每次推理僅激活2個專家。其核心技術包含全球首個完整落地的MoE Upcycling技術，以及支持單台NVIDIA 4090伺服器推理的創新設計，顯著降低部署成本。
在性能方面，Skywork-MoE在CEVAL（82.2）、CMMU（79.5）、MMLU（77.4）等多項基準測試中表現優於同規模模型，推理吞吐量可達2200 tokens/s（FP8量化條件下）。崑崙萬維開源該模型旨在推動AI行業在低成本下探索更大規模模型的訓練與套用。
基本介紹
- 研發機構：崑崙萬維
- 發布時間：2024年6月
- 模型架構：混合專家（MoE）
- 總參數量：146B
- 開源狀態：完全開源
- 硬體適配：單台4090伺服器
技術架構,訓練與最佳化,性能評測,開源與套用,技術影響,
技術架構
Skywork-MoE採用稀疏混合專家架構，包含16個獨立專家模組（每個模組參數量為13B），總參數量達146B，激活參數量為22B。其核心機制為動態門控選擇：每次推理時，輸入數據通過門控網路計算權重，僅激活得分最高的2個專家模組進行計算。該設計通過稀疏化計算路徑，在保持千億級參數規模的同時，將推理顯存占用最佳化至146GB（FP8量化條件下）。
模型基於崑崙萬維先前開源的Skywork-13B模型中間檢查點擴展而來，通過MoE Upcycling技術將稠密模型轉換為混合專家架構，大幅降低訓練成本。該技術首次實現從稠密模型到MoE模型的完整工程化落地。
訓練與最佳化
訓練過程中採用三項關鍵技術：
- 門控邏輯歸一化：對專家選擇權重進行歸一化處理，提升門控網路決策的置信度
- 自適應輔助損失係數：動態調整專家負載均衡的損失權重，避免專家模組的坍縮或過擬合
- 混合併行策略：結合專家數據並行（EDP）與非均勻流水並行設計，提升分散式訓練效率
模型支持8x4090伺服器的FP8量化推理框架，通過參數分組載入和動態記憶體管理技術，實現在消費級顯示卡上的高效部署。
性能評測
2024年技術評測數據顯示：
- 綜合能力：CEVAL得分82.2，CMMU得分79.5，MMLU得分77.4，均超過同參數量級模型的平均水平
- 推理效率：在單台4090伺服器上，FP16精度下推理吞吐量為1200 tokens/s，FP8量化後提升至2200 tokens/s
- 成本優勢：相比傳統千億級稠密模型，單位token推理成本降低約3倍
開源與套用
崑崙萬維開源內容包含：
- 模型權重檔案（含16個專家模組參數）
- 支持4090伺服器推理的框架代碼
- 技術報告及訓練日誌
技術影響
作為全球首個支持單卡推理的千億級開源MoE模型，Skywork-MoE突破了硬體限制：
- 企業可使用單台4090伺服器完成模型微調和部署，無需依賴高端計算集群
- 學術界可基於開原始碼復現MoE Upcycling技術，降低研究門檻
- 開發者可通過動態專家調度機制最佳化計算資源分配
