dots.llm1是由小紅書hi lab（Humane Intelligence Lab，人文智慧型實驗室）團隊開發的文本大模型，於2025年6月10日正式開源。該模型採用混合專家（MoE）架構，總參數量達1420億，每次推理激活140億參數，通過訓練11.2萬億token的高質量數據，性能達到與Qwen2.5-72B相當水平。
模型基於三階段數據處理框架生成訓練語料，未使用合成數據，採用交錯1F1B流水線調度技術和分組GEMM計算最佳化提升訓練效率。支持中英雙語處理，上下文長度達32768 token，提供基礎版（dots.llm1.base）與指令調優版（dots.llm1.inst），採用MIT開源協定並發布中間訓練檢查點。模型兼容vLLM/SGLang/OpenAI API框架，適用於內容生成、智慧型客服等場景。
基本介紹
- 軟體名稱：dots.llm1
- 開發商：小紅書
發展歷程,主要功能,
發展歷程
2025年6月10日，據小紅書技術團隊訊息，小紅書hi lab（Humane Intelligence Lab，人文智慧型實驗室）團隊首次開源文本大模型 dots.llm1。
主要功能
dots.llm1是一個大規模的Mixture of Experts（MoE）語言模型，在總共1420億參數中激活140億參數，dots.llm1在訓練11.2T token高質量數據後，達到了可與Qwen2.5-72B相媲美的性能。
