NVIDIA Nemotron 4

NVIDIANemotron 4是英偉達（NVIDIA）於2024年6月發布的開源大語言模型系列，其代表型號為擁有3400億參數的Nemotron-4 340B。

該系列模型包含基礎模型（Base）、指令模型（Instruct）和獎勵模型（Reward），構建了合成數據生成的完整流程。其指令模型的訓練使用了高達98%的合成數據。模型支持4K上下文視窗、50多種自然語言和40多種程式語言。

模型系列

Nemotron-4是由英偉達開發的大語言模型系列，包含15B、22B、340B等多個不同參數規模的型號。

其中，Nemotron-4 340B於2024年6月發布，是一個開源模型系列，包含基礎模型（Base）、指令模型（Instruct）和獎勵模型（Reward）三種類型。

技術規格

Nemotron-4-340B-Base基於僅解碼器Transformer架構構建。模型採用旋轉位置嵌入(RoPE)、SentencePiece分詞器、分組查詢注意力(GQA)以及在MLP層中使用平方ReLU激活等技術，並且模型沒有偏置項，丟棄率為零，輸入輸出嵌入不綁定。

Nemotron-4-340B模型支持4K上下文視窗，支持50多種自然語言和40多種程式語言。以Nemotron-4-340B-Base模型為例，其擁有約94億個嵌入參數和3316億個非嵌入參數。

訓練與數據

訓練數據方面，英偉達採用了高達9萬億個token，其中8萬億用於預訓練，1萬億用於繼續訓練以提高質量，訓練數據截止到2023年6月。指令模型的訓練是在98%的合成數據上完成的，在整個對齊過程中，英偉達僅使用了大約20K的人工標註數據。所有Nemotron-4 340B模型都利用張量並行性經過TensorRT-LLM最佳化。Nemotron-4-340B-Base使用768個DGX H100節點進行訓練。

性能表現

Nemotron-4-340B-Base在ARC-Challenge、MMLU和BigBench Hard等常識推理基準測試中，表現與Llama-3 70B、Mixtral 8x22B和Qwen-2 72B等模型相當。Nemotron-4-340B-Instruct在指令跟隨和聊天能力方面超越了同類型的指令模型，經過訓練後的勝:平:負比率為 28.19%:46.57%:25.24%。Nemotron-4-340B-Reward在發布時，於RewardBench上取得了最高準確性，超過了GPT-4o-0513和Gemini 1.5 Pro-0514等專有模型。

部署與套用

Nemotron-4 340B模型的部署與套用涉及硬體要求、許可協定和套用場景。

在BF16精度下，模型的推理需要8塊H200，或16塊H100/A100 80GB；在FP8精度下，則需8塊H100。

Nemotron-4 340B採用了對商用友好的許可協定。

Nemotron-4 340B指令模型可用於生成合成訓練數據。開發者也可使用Nemotron-4 340B獎勵模型來篩選回響。研究者可以結合自有數據和HelpSteer2數據集，基於Nemotron-4 340B基礎模型定製指令或獎勵模型。基礎模型可通過NeMo框架進行定製以適應特定用例或領域。