MODEL1

MODEL1是DeepSeek開發的新一代AI模型架構,於2026年1月21日在官方GitHub倉庫的FlashMLA代碼更新中被發現,與現有模型V32並列提及,代表一個獨立的新架構。

根據代碼分析,MODEL1在KV快取布局、稀疏性處理及FP8解碼支持等底層技術上與V32存在區別。其架構變化包括頭維回歸512、KV快取重設計,並集成了VVPA與Engram條件記憶模組等技術。該模型硬體實現適配SM90與SM100等多代GPU架構。行業推測其可能定位為高效推理模型或長序列專家。結合代碼狀態,MODEL1已接近訓練完成或推理部署階段,業內猜測其最快有望於2026年2月(春節前後)發布。

基本介紹

  • 外文名:MODEL1
發展歷程,技術特點,核心技術,核心團隊,重要事件,

發展歷程

2026年1月20日(台北時間1月21日),正值DeepSeek-R1發布一周年之際,開發者發現DeepSeek在其開源推理核心項目FlashMLA的代碼更新中,首次曝光了名為“MODEL1”的新模型架構標識符。在橫跨114個檔案的更新中,“MODEL1”被提及28至31次,並以枚舉類型與現有模型DeepSeek-V3.2(V32)並列定義,標誌著其成為一個獨立的核心架構分支。
代碼分析顯示,MODEL1在鍵值(KV)快取布局、稀疏性處理方式及對FP8數據格式的解碼支持等方面與V3.2存在差異。結合其代碼結構已覆蓋多種頭維度、完成FP8路徑適配、記憶體規範已定義,開發者及行業分析普遍認為,MODEL1很可能已接近訓練完成或推理部署階段,正等待最終的權重凍結和測試驗證。外媒及行業傳聞稱,DeepSeek可能於2026年2月中旬(春節前後)發布其下一代模型,MODEL1被認為是該模型的核心架構。

技術特點

MODEL1是DeepSeek從底層重構的全新架構分支,定位為推理引擎。其核心架構變化包括注意力頭維度從V3.2的576維回歸併固定為標準512維,以提升對齊效率;KV快取布局被重寫,物理排布更緊湊,專為超長序列最佳化。
MODEL1在硬體適配方面進行了最佳化,支持從H100/H200到下一代Blackwell架構,在SM100架構上有特定最佳化。其目標套用場景包括邊緣設備部署、成本敏感的高並發API服務,以及法律、科研、代碼等長文本理解任務。

核心技術

MODEL1是DeepSeek從底層重構的全新架構,定位為更省資源、更長上下文、更強硬體適配的推理引擎。其核心技術革新主要體現在架構基礎變化、記憶體與計算最佳化、創新機制集成及硬體適配深度強化等方面。
MODEL1將注意力頭的維度從V3.2的576維回歸至標準的512維並硬編碼固定,同時徹底重寫了鍵值快取布局,使其物理排布更緊湊,並採用NoPE與RoPE交錯排列,專為16K+超長序列最佳化。MODEL1首次在DeepSeek主幹模型中全面支持FP8精度KV快取,顯著降低顯存占用與推理延遲。同時,它支持Token級動態稀疏注意力,可在解碼階段動態忽略非關鍵token,實現稀疏與稠密計算並行,提升長序列推理效率。
模型集成了多項創新機制,包括旨在解決長文本中位置信息衰減問題的Value Vector Position Awareness機制。以及通過哈希N-gram嵌入實現O(1)靜態知識查找的Engram條件記憶模組,該模組將“記憶”從Transformer主幹剝離,形成“查算分離”新範式,允許將海量表卸載至CPU記憶體且推理吞吐損失小。此外,MODEL1支持動態Top-K稀疏推理邏輯,並引入了額外的“extra_kv”快取區,為多段上下文場景提供支持。
MODEL1全面適配NVIDIA下一代Blackwell架構,並新增專用接口,同時對H100/H200等現有硬體也有深度最佳化。在H100/H200上有兩個核心版本,在最新的B200上有專門的Head128實現。

核心團隊

MODEL1架構由DeepSeek公司官方團隊研發。其中,與MODEL1核心技術強相關的Engram記憶模組,其研究論文已於2026年1月13日由梁文鋒署名開源。

重要事件

2026年1月下旬,DeepSeek在其開原始碼庫FlashMLA中更新代碼,曝光了代號“MODEL1”的新模型架構。此次曝光引發業界廣泛關注。在AIME 2025擴展題集上的初步測試顯示,基於新架構的模型解題成功率較R1提升37%。

相關詞條

熱門詞條

聯絡我們