DeepGEMM是由DeepSeek-AI團隊開發的專為FP8通用矩陣乘法設計的高性能計算庫，於2025年2月26日在開源周活動中正式發布。該庫針對NVIDIA Hopper架構GPU最佳化，支持密集模型和混合專家模型（MoE）的矩陣運算，在Hopper GPU上實現了最高1350+ FP8 TFLOPS的性能。根據其GitHub倉庫信息，該庫後續更新已支持BF16數據類型（開發中），並擴展了對SM100架構的支持，通過引入NVRTC實現了更快的編譯速度，同時在H800 GPU上實現了最高1550 FP8 TFLOPS的性能。
其核心kernel代碼僅約300行，採用全JIT即時編譯技術實現即裝即用，並支持V3/R1模型的訓練與推理套用場景。該庫也被用作DualPath等創新推理系統的底層高性能運算元之一。
基本介紹
- 外文名：DeepGEMM
- 開源時間：2025年2月26日
研發背景,發展歷程,核心技術,重要事件,核心團隊,
研發背景
DeepGEMM是DeepSeek在2025年2月26日其“開源周”活動第三日發布的開源項目。該庫旨在為DeepSeek-V3/R1模型的訓練與推理提供簡潔的底層支持，以應對大模型計算中的資源消耗問題，並為MoE（混合專家）模型的部署提供支持。
庫的設計源於DeepSeek-V3中提出的細粒度縮放（fine-grained scaling）技術。為了解決Hopper架構GPU中FP8張量核心在累加計算時精度不足的問題，DeepGEMM採用了基於CUDA核心的兩級累加方法。該項目提供一個輕量級的解決方案，其核心邏輯約300行代碼，追求與專家調優核心相當的性能水平。
發展歷程
2025年2月26日，DeepSeek宣布開源DeepGEMM。2025年4月18日，DeepGEMM在H800上實現最高1550 TFLOPS的性能。2025年5月7日，DeepGEMM支持NVRTC，編譯速度提升高達10倍。2025年5月14日，DeepGEMM為稠密和MoE模型的反向傳播提供了權重梯度核心。2025年7月20日，DeepGEMM支持SM90/SM100架構，並進行了全面重構，採用了低CPU開銷的JIT CPP模組。2025年9月28日，DeepGEMM為DeepSeek v3.2的lightning indexer支持了評分核心（weighted ReLU MQA logits）。項目在GitHub上獲得了廣泛的關注，星標數迅速增長，截至發稿時已超過3700個星標。
核心技術
DeepGEMM的設計追求簡潔高效，其核心kernel代碼僅約300行。該庫採用完全即時編譯（JIT）技術，所有計算核心均在運行時動態生成，無需在安裝時編譯，從而實現即裝即用。
為解決Hopper架構FP8張量核心在累加計算時的精度問題，DeepGEMM採用了基於CUDA核心的兩級累加方法。
在性能方面，DeepGEMM在Hopper GPU（如H800）上最高可實現1550 FP8 TFLOPS的計算性能。與基於CUTLASS 3.6的最佳化實現相比，其最高加速比可達2.7倍。為實現高性能，庫進行了多項最佳化，包括支持非2的冪次方塊大小以最佳化SM利用率，以及進行指令級最佳化如FFMA SASS交錯。
DeepGEMM借鑑了CUTLASS和CuTe的概念，但避免了對其模板或代數的重度依賴，實現了輕量化設計。該庫支持密集（dense）和混合專家（MoE）兩種分組場景的通用矩陣乘法運算。
重要事件
2025年2月26日，DeepSeek在開源周活動中開源了名為DeepGEMM的矩陣乘法加速庫。後續重要更新包括：2025年4月18日，DeepGEMM在H800上達到1550 TFLOPS；2025年5月7日，支持NVRTC，編譯速度提升10倍；2025年5月14日，提供權重梯度核心；2025年7月20日，支持SM90/SM100並重構；2025年9月28日，支持評分核心用於DeepSeek v3.2。
核心團隊
DeepGEMM是由DeepSeek-AI團隊開發並於2025年2月26日在其“開源周”活動中開源的項目。
