Nemotron-4 340B，是英偉達全新發布的開源模型。有可能徹底改變訓練LLM的方式。
基本介紹
- 中文名：Nemotron-4 340B
- 發布企業：英偉達
模型簡介
Nemotron-4 340B包括基礎模型Base、指令模型Instruct和獎勵模型Reward，並構建了一個高質量合成數據生成的完整流程。模型支持4K上下文視窗、50多種自然語言和40多種程式語言，訓練數據截止到2023年6月。訓練數據方面，英偉達採用了高達9萬億個token。其中，8萬億用於預訓練，1萬億用於繼續訓練以提高質量。值得一提的是，指令模型的訓練是在98%的合成數據上完成的。Nemotron-4 340B還有一個非常顯著的特點——對商用十分友好的許可。
