Nemotron-4 15B

Nemotron-4 15B是英偉達於2024年2月推出的150億參數開源大語言模型，其開發目標是成為能在單個英偉達A100或H100GPU上運行的通用大語言模型。

該模型基於標準的純解碼器Transformer架構，在包含8萬億token的混合數據集上完成訓練，訓練耗時約13天。在多個基準測試中，Nemotron-4 15B的表現符合其規模預期，在英語、多語言和編碼任務上達到相應水平，並在BBH基準測試中超越了LLaMA-2 70B模型。

模型架構

Nemotron-4 15B採用標準的純解碼器Transformer架構，並帶有因果注意力掩碼。模型總參數量為150億，其中包含32億個嵌入參數和125億個非嵌入參數。

Nemotron-4 15B使用了旋轉位置編碼（RoPE）、SentencePiece分詞器以及MLP層的平方ReLU激活函式。其架構設計無偏置項，使用零丟失率，並採用未綁定的輸入輸出嵌入。通過分組查詢注意力（GQA）機制，實現了更快的推理速度和更低的記憶體占用。

訓練數據與過程

Nemotron-4 15B的預訓練數據集總規模為8萬億個文本標記。數據構成分為英語自然語言數據（占70%）、多語言自然語言數據（占15%）和原始碼數據（占15%）。英語語料庫來自網路文檔、新聞文章、科學論文、書籍等多種來源和領域。代碼和多語言數據涵蓋了一組多樣化的自然語言和程式語言。在構建預訓練語料庫時，進行了文檔級別的精確和近似去重，並套用了一系列啟發式過濾器。

訓練使用了384個DGX H100節點，每個節點包含8個基於英偉達Hopper架構的H100 80GB SXM5 GPU。訓練採用了8路張量並行和數據並行，並在數據並行副本上分片最佳化器狀態。整個預訓練過程大約耗時13天完成。在完成對全部8萬億標記的預訓練後，研究人員進行了額外的繼續訓練。此階段採用了相同的損失目標，但對較少的標記進行訓練。通過切換數據分布和學習率衰減計畫，這一策略提升了模型的最終質量。

套用與衍生

英偉達通過蒸餾和最佳化更大的Nemotron-4 15B，獲得了Nemotron-Mini-4B-Instruct模型。

後續，英偉達發布了Nemotron-4-340B-Base模型，其基本架構與數據混合方式與Nemotron-4 15B相似。