Seed-OSS-36B是由位元組跳動旗下Seed團隊於2025年8月21日在Hugging Face平台發布的開源大型語言模型。
該模型採用因果語言建模、分組查詢注意力和RoPE位置編碼等技術，包含360億參數並支持15.5萬詞表規模。通過64層網路結構實現512k tokens的長上下文處理能力，適用於文檔分析、推理鏈、Agent互動及通用場景。
基本介紹
- 外文名：Seed-OSS-36B
- 類型：開源大型語言模型
- 所屬公司 ：位元組跳動
- 發布時間：2025年8月21日
發展歷史,功能配置,
發展歷史
2025年8月21日訊息，位元組跳動旗下的Seed團隊在AI代碼分享平台Hugging Face上發布了最新的開源大型語言模型Seed-OSS-36B。
功能配置
Seed-OSS-36B的架構結合了多種常見的設計選擇，包括因果語言建模、分組查詢注意力（Grouped Query Attention）、SwiGLU激活函式、RMSNorm和RoPE位置編碼。每個模型包含360億參數，分布在64層網路中，並支持15.5萬詞表。這一新模型最大上下文長度可達512k tokens，能夠在不損失性能的情況下處理超長文檔和推理鏈。
