Nemotron-H是由NVIDIA在2025年發布的一系列高效混合Mamba-Transformer架構AI模型，旨在降低特定精度水平下的推理成本。該系列包含8B和56B/47B等不同參數規模的模型，其核心創新在於用Mamba-2層替換了標準Transformer中的大部分自注意力層，形成一種平衡的混合架構。
研究人員採用FP8精度對56B模型進行了大規模預訓練，並開發了名為MiniPuzzle的壓縮框架，通過剪枝與蒸餾技術將56B模型壓縮為47B模型，在保持相當準確度的同時提升了推理速度。實驗表明，Nemotron-H模型在多項基準測試中的準確度優於或持平同規模的開源Transformer模型，同時推理吞吐量最高可提升3倍。
基本介紹
- 外文名：Nemotron-H
- 上市時間：2025年3月21日
研發背景,發展歷程,核心技術,運營模式,重要事件,
研發背景
英偉達發布了Nemotron-H系列混合Mamba-Transformer架構模型，旨在高效處理長上下文任務。Mamba架構採用選擇性狀態空間模型，通過維持狀態處理長序列，具有線性時間計算優勢。英偉達通過平衡Transformer和Mamba層，開發混合架構以提升推理效率。Nemotron-H系列於2025年發布，在保持或提升模型性能的同時，推理速度提升高達3倍。
發展歷程
2025年3月21日，英偉達正式發布了Nemotron-H系列模型。該系列首批包含多種規模的模型，如Nemotron-H-8B-Base、Nemotron-H-8B-Instruct、Nemotron-H-8B-VLM、Nemotron-H-56B-Base及其蒸餾版本Nemotron-H-47B-Base。
2025年6月6日，英偉達發布了推理專用模型Nemotron-H-8B-Reasoning-128K。該模型基於Nemotron-H-8B-Base-8K，支持128K上下文長度，旨在統一處理推理與非推理任務。
到2025年底，英偉達將其全線新模型（如Nemotron 3系列）均切換至Mamba-Transformer混合架構。
核心技術
Nemotron-H系列模型的核心創新在於採用了Mamba-2與Transformer的混合架構，用Mamba-2層替換了Transformer中的大部分自注意力層，旨在實現高效處理長上下文的同時不犧牲模型性能，並以提升推理速度、降低記憶體占用為目標。
該混合架構中，模型總層數的約8%為自注意力層，其餘為Mamba-2層和前饋神經網路（FFN）層。例如，Nemotron-H-8B模型包含52層，其中4層為注意力層；Nemotron-H-56B模型包含118層，其中10層為注意力層。設計準則包括模型的第一層必須是Mamba-2層，最後一層必須是FFN層，並且自注意力層總是位於FFN層之前。
在預訓練中創新性地使用了8位浮點數（FP8）訓練方案，在降低記憶體需求和計算成本的同時，保持了與BF16訓練相當的模型質量。
採用了一種結合剪枝、神經架構搜尋和知識蒸餾的新型壓縮框架MiniPuzzle，將Nemotron-H-56B模型成功壓縮為Nemotron-H-47B模型，參數減少了16%，同時保持了相當的準確度，並將推理吞吐量提高了20%。
針對NVIDIA GPU進行了深度最佳化，支持序列並行、選擇性重計算、精度感知最佳化器（BF16/FP8梯度與FP32主權重）等技術，以提高訓練和推理效率。
這些核心技術共同作用，使得Nemotron-H模型在多項基準測試中達到或超過同尺寸開源Transformer模型（如Qwen-2.5、Llama-3.1）的準確度，同時推理吞吐量有所提升，在性能與效率之間取得平衡。
運營模式
Nemotron-H-56B-Base的訓練使用了約20萬億token的數據，來源包括網頁爬取（占比59%）、代碼（20%）、學術內容（8.8%）、維基百科等多領域數據，並採用了分階段的數據混合方法進行預訓練。模型的訓練使用了大規模計算集群，如6144台H100 GPU，訓練過程使用了DGX Cloud Resilience服務和NVRx技術以提高容錯性和效率。
模型以開源形式發布，支持在Hugging Face、NeMo、Megatron-LM等主流框架中部署與使用。
重要事件
2025年3月21日，英偉達推出了Nemotron-H系列的Mamba-Transformer混合架構模型。該系列模型被用作英偉達同期發布的物理AI視覺語言模型Cosmos-Reason 1的骨幹網路。
