Skywork-13B是崑崙萬維於2023年10月30日宣布開源的百億級大語言模型系列，包含130億參數的Skywork-13B-Base基礎模型和Skywork-13B-Math數學專項模型。該系列模型配套開源了600GB、包含150B Tokens的中文數據集Skypile/Chinese-Web-Text-150B，在CEVAL、CMMLU等評測中展現出優異的中文處理能力。開發者無需申請即可基於《Skywork模型社區許可協定》直接商用，該系列模型在科技、金融、政務等領域具有套用潛力。
基本介紹
- 發布時間：2023年10月30日
- 開發商：崑崙萬維
- 參數規模：130億
- 模型組成：2個核心模型
- 數據集：600GB/150B Tokens
- 套用領域：科技、金融、政務
技術特性,開源與商用政策,套用領域,技術成果,
技術特性
包含Skywork-13B-Base基礎語言模型與Skywork-13B-Math數學專項模型。基礎模型基於3.2萬億多語言數據訓練，在CEVAL評測中取得同規模模型最佳效果；數學模型通過算法改進使GSM8K數據集準確率提升至82.6%。二者均採用130億參數規模設計，支持長文本理解與複雜邏輯推理。
配套發布的Skypile/Chinese-Web-Text-150B數據集包含600GB原始數據，覆蓋新聞、百科、論文等中文語料。經過嚴格清洗過濾後保留150B Tokens高質量文本，成為當時最大開源中文數據集之一。
開源與商用政策
2023年10月30日起全面開放模型權重、技術文檔與推理代碼。商用條款採用零門檻策略，開發者僅需遵守《Skywork模型社區許可協定》即可部署套用，無需單獨申請授權。該協定允許用於商業場景的二次開發，但不支持反向工程或服務託管分發。
開源範圍包含：
- 完整模型參數權重檔案
- 模型架構說明與訓練技術文檔
- 數據清洗工具鏈與預處理代碼
- 量化部署工具包與API接口示例
套用領域
在中文科技文獻解析任務中準確率較同類模型提升12%，金融文本摘要生成任務達到85.3%的語義一致性評分。政務場景測試顯示，公文要點提取效率比傳統方法提升6倍。STEM領域套用測試中，數學模型解決工程計算問題的回響速度優於傳統數值分析軟體。
模型支持4090顯示卡本地部署，推理時顯存占用控制在24GB以內。在32G記憶體伺服器環境下，可實現每秒生成35個token的實時回響速度。
技術成果
在權威評測中，基礎模型中文能力超越同規模開源模型15%，數學模型在GSM8K測試集準確率達82.6%。2024年2月，"天工2.0"MoE大模型發布時，該系列被列為崑崙萬維AI產品矩陣核心技術基座。截至2024年6月，已成為國內首個支持消費級顯示卡推理的百億級開源模型。
