Yi-9B

Yi-9B是由零一萬物公司開發的Yi系列開源模型，實際參數規模為8.8B。該模型基於Yi-6B架構進行深度擴展，通過複製中間層實現48層結構增強，並在約8000億token的數據集上完成兩階段訓練。

Yi-9B在代碼生成與數學推理領域表現突出，代碼能力僅次於DeepSeek-Coder-7B，數學能力僅次於DeepSeek-Math-7B。截至2024年5月，該模型已升級為Yi-1.5系列，評測性能超越同規模模型並支持消費級顯示卡部署。

基本介紹

• 參數規模：8.8B
• 上下文長度：4K tokens 
• 訓練數據：0.8T tokens
• 發布機構：零一萬物 
• 發布時間：2024年3月 
• 所屬系列：Yi-1.5   

模型架構

• Yi-9B通過擴展Yi-6B的32層基礎架構至48層實現深度擴增，複製12-28層進行結構擴展。其技術架構特點包括：
• 採用分組查詢注意力機制與SwiGLU激活函式最佳化計算效率
• 支持200K上下文視窗的旋轉位置編碼技術
• 保持原始模型的參數配置，實現層間高餘弦相似度擴展

訓練策略

• 數據構成：基於Yi-6B的3.1T tokens訓練數據，新增70%高質量數據完成0.8T tokens增量訓練，覆蓋代碼與數學領域強化內容
• 訓練過程：採用兩階段訓練模式，使用固定學習率3e-5與動態批量調整策略。2024年升級過程中，量化技術（4位模型/8位KV快取）提升解碼效率

性能評測

• 代碼能力：在HumanEval評測中，Yi-9B得分僅次於DeepSeek-Coder-7B，超越Mistral-7B等模型
• 數學推理：GSM-8K評測結果顯示，其數學能力位列同規模模型第二，接近DeepSeek-Math-7B水平
• 綜合表現：在常識、推理、知識等維度超越Gemma-7B、SOLAR-10.7B等同級開源模型

開源套用

• 版本疊代：2024年5月，Yi-9B納入Yi-1.5開源系列，推出Base與Chat版本
• 部署支持：提供BF16與Int8量化版本，適配消費級顯示卡運行環境
• 生態貢獻：通過Hugging Face與魔搭社區開源，首月占據近50%熱門模型榜單