Nemotron

Nemotron

Nemotron是基於Qwen-2.5微調而成的推理模型系列,包含1.5B、7B、14B和32B四種參數規模,源自擁有6710億參數的DeepSeek R1 0528大模型。該系列通過蒸餾技術降低部署難度,支持在普通設備運行複雜推理任務,完整檢查點發布於Hugging Face平台供研究使用。

該系列採用GenSelect推理模式,通過多路徑解答篩選提升準確率,32B版本在數學與編程基準測試中達到領先水平。訓練數據包含500萬數學、科學與編程樣本,支持32,768標記上下文長度。

新發布的Nemotron Nano 2和Llama Nemotron Super 1.5採用混合架構與NVFP4量化格式,推理成本降低60%,生成速度提升6倍。NVIDIA在SIGGRAPH 2025宣布擴展該系列,適用於企業級AI智慧型體構建,Zoom計畫將Nemotron與Zoom AI Companion結合,CrowdStrike正在測試Nemotron模型以便其Charlotte AI智慧型體處理多步驟任務。模型通過Amazon Bedrock、Azure AI等平台部署,並提供Llama Nemotron VLM數據集v1支持視覺訓練。2025年12月15日,英偉達發布 Nemotron 3 開源模型系列,包括 Nano、Super 和 Ultra 三種規格,宣稱是構建 AI 智慧型體套用時“具有最佳準確性的最高效開源模型家族”。

基本介紹

  • 外文名:Nemotron
  • 類型:基於Qwen-2.5微調而成的推理模型系列
  • 參數規模:1.5B、7B、14B和32B
  • 涵蓋領域:數學、科學與編程領域
模型簡介,其他模式,

模型簡介

Nemotron 是一套基於 Qwen-2.5 微調而成的推理模型系列,包含 1.5B、7B、14B 和 32B 四種參數規模,均源自擁有 6710 億參數的 DeepSeek R1 0528 大模型。通過蒸餾技術,英偉達將龐大模型的能力濃縮至更輕量級的版本,顯著降低部署難度,使得普通遊戲電腦即可運行高級推理任務,無需依賴昂貴的 GPU 硬體或雲服務。
團隊使用 NeMo Skills 工具合成了 500 萬個涵蓋數學、科學與編程領域的解題樣本,並採用純監督學習方式進行微調。
2025年12月15日,英偉達發布 Nemotron 3 開源模型系列,包括 Nano、Super 和 Ultra 三種規格,宣稱是構建 AI 智慧型體套用時“具有最佳準確性的最高效開源模型家族”。

其他模式

OpenReasoning-Nemotron 被定位為科研用途的開放工具,所有四個模型的完整檢查點將在 Hugging Face 平台提供下載,方便研究人員開展強化學習等後續實驗,或針對具體任務進行定製最佳化。模型還支持一種名為 GenSelect 的推理模式,即對同一問題生成多個解答路徑,再從中挑選最優結果,從而提升整體準確率。在此模式下,32B 模型已在多個數學與編程基準測試中達到甚至超越當前行業領先水平。

相關詞條

熱門詞條

聯絡我們