Megatron-LM

Megatron-LM是由NVIDIA套用深度學習研究團隊開發的開源分散式訓練框架，旨在解決單個GPU記憶體無法容納巨型模型的核心工程難題。該框架通過綜合套用數據並行、張量並行和流水線並行等多種並行化策略，支持在千卡規模上高效訓練百億乃至千億參數級別的大語言模型。其提出的張量並行技術是打破單GPU記憶體瓶頸的關鍵，並與數據、流水線並行共同構成了現代大規模分散式訓練的基石。該框架的後續演進版本Megatron-Core繼承了其核心能力，並在更大規模的GPU集群上展示了接近線性的擴展性能。

研發背景

Megatron-LM是由NVIDIA套用深度學習研究團隊開發的開源分散式訓練框架，其誕生的核心驅動力是為了解決訓練超大Transformer模型（如GPT-3）時面臨的顯存和計算瓶頸。具體挑戰包括：顯存挑戰——例如，GPT-3模型僅參數就需要約700GB空間，加上梯度和最佳化器狀態，總需求高達2.8TB，遠超單個GPU的承載能力；計算挑戰——使用單個V100 GPU訓練GPT-3模型預估耗時約288年，時間成本無法接受。為應對這些挑戰，需要創新的並行化技術來高效利用算力、顯存和通信頻寬。

發展歷程

Megatron-LM是由NVIDIA的套用深度學習研究團隊開發的Transformer模型訓練框架。該框架後續持續演進，並衍生出“Megatron-Core”（或稱NVIDIA Megatron Core）。Megatron-Core繼承了Megatron-LM的核心能力並進一步最佳化。在強擴展性設定下，對於一個1770億參數的GPT-3模型，Megatron-Core在從96到4608個H100 GPU上展示了近乎線性的擴展能力。

核心團隊

Megatron-LM 由英偉達（NVIDIA）公司的套用深度學習研究團隊開發。