NVIDIA Nemotron Nano 2是NVIDIA推出混合 Mamba-Transformer 推理模型系列。NVIDIA Nemotron 系列多模態模型提供專為企業就緒型AI智慧型體設計的先進推理模型。其中 Nano 注重成本效益，適用於邊緣部署。
功能,創新,優勢,
功能
NVIDIA Nemotron Nano 2 模型支持思考預算，使企業能夠控制 token 生成並在邊緣設備上部署最佳化的智慧型體。
創新
● 預訓練：採用 Warmup-Stable-Decay 學習率調度器在 20 萬億個 Token 上以 FP8 精度進行預訓練。隨後，通過持續的預訓練長上下文擴展階段，可在不降低其他基準性能的情況下支持 128k 上下文長度。
● 後訓練：通過監督式微調 (SFT)、組相對策略最佳化 (GRPO)、直接偏好最佳化 (DPO) 和基於人類反饋的強化學習 (RLHF) 進行後訓練。其中約 5% 的數據包含故意截斷的邏輯推演，使推理時能夠精細控制思考預算。
● 壓縮：對基礎模型和對齊後的模型進行了壓縮，使其能夠在單顆 NVIDIA GPU (22 GiB 記憶體，bfloat16 精度) 上實現 128k Token 上下文長度的推理。此結果通過擴展基於 Minitron 的壓縮策略以壓縮受約束的邏輯推理模型實現。
優勢
與其他同等規模的模型相比，Nemotron Nano 2 將 token 生成提速6倍。
