DeepSeek-R1-Distill-Llama-8B是深度求索基於Llama-3.1-8B 架構開發的蒸餾模型，通過DeepSeek-R1生成的樣本進行微調最佳化。該模型在數學推理、編程等任務中表現優異，同時支持支持文本生成、SQL轉自然語言等NLP任務。該模型通過蒸餾技術降低計算資源消耗，適合資源受限場景。
基本介紹
- 外文名：DeepSeek-R1-Distill-Llama-8B
- 技術背景：杭州深度求索人工智慧基礎技術研究有限公司
- 上市時間：2025年1月20日
研發背景,技術特點,發展歷史,使用與部署,使用建議,部署方式,
研發背景
DeepSeek-R1-Distill-Llama-8B是深度求索基於Llama-3.1-8B架構開發的蒸餾模型，該模型通過使用DeepSeek-R1生成的推理數據樣本對開源模型進行微調得到。DeepSeek於2025年1月20日發布了DeepSeek-R1-Distill模型系列，其中包括該模型。
技術特點
DeepSeek-R1-Distill-Llama-8B基於Llama-3.1-8B-Base模型，使用DeepSeek-R1生成的樣本進行微調，並對模型配置和分詞器進行了調整。該模型通過蒸餾技術降低計算資源消耗，適合資源受限場景。
DeepSeek-R1-Distill-Llama-8B在多項數學與編程基準測試中取得了以下性能指標：AIME 2024pass@1為50.4，MATH-500 pass@1為89.1，GPQA Diamond pass@1為49.0，LiveCodeBench pass@1為39.6，CodeForces評分為1205。模型參數量為80億（8B）。
該模型基於Llama3.1-8B-Base開發，最初遵循Llama3.1許可證，最終模型遵循MIT許可證，支持商業用途。
建議使用時將溫度設定在0.5-0.7範圍內，避免添加系統提示，對於數學問題建議在提示中加入解題指示。
該模型已開源。
發展歷史
2025年1月20日，深度求索發布DeepSeek-R1系列模型，其中包括基於Llama和Qwen系列蒸餾出的多個密集模型，DeepSeek-R1-Distill-Llama-8B為其中之一。2025年2月4日，矽基流動（SiliconCloud）平台上線加速版DeepSeek-R1蒸餾模型，其中包括DeepSeek-R1-Distill-Llama-8B，並提供免費API服務。2025年2月24日，模型在ModelScope等平台更新。5月28日，模型的長文本處理與編程能力得到提升，開始支持128K上下文。
使用與部署
DeepSeek-R1-Distill-Llama-8B模型基於Llama3.1-8B-Base開發，遵循Llama3.1許可證，同時整體遵循MIT許可證，支持商業用途。模型已在Hugging Face、ModelScope（魔搭社區）等平台開源，可供下載。
使用建議
該模型可以像使用標準的Llama模型一樣使用。為獲得最佳效果，建議將生成溫度（temperature）設定在0.5-0.7範圍內；對於數學問題，建議在提示中加入相應指示，並避免添加系統提示。
部署方式
模型支持通過Amazon SageMaker進行部署，並可利用Amazon Inferentia和Trainium晶片進行加速。此外，矽基流動（SiliconCloud）平台也提供了該模型的加速版API服務。
