概念與原理
該架構的核心原理是通過引入可擴展的查找結構作為模型的記憶模組,即開源的
Engram模組。這種設計旨在探索大型語言模型稀疏性的新維度,能在等參數、等算力的條件下,提升模型在知識調用、推理、代碼、數學等任務上的表現。
技術特點
條件記憶架構採用存算分離的設計理念,通過可擴展的查找結構實現高效知識檢索,同時最佳化計算與記憶的平衡。
條件記憶通過引入可擴展的查找記憶結構,在等參數、等算力條件下顯著提升模型在知識調用、推理、代碼、數學等任務上的表現。
發布計畫
搭載條件記憶(
Engram)架構的DeepSeek V4模型計畫於2026年2月10日至20日期間發布。該模型側重於編程能力的提升,依據其公布的信息,支持對數十萬行級別的長代碼進行解析。此次發布的技術基礎包括將Engram架構與此前發布的
mHC訓練架構相結合。
行業評價
Engram架構通過“存算分離”設計實現效率革命,讓模型資源分配更高效,緩解了算力焦慮。同時,其帶來的成本優勢可能降低訓練成本,並降低中小企業研發門檻。
業界也存在一些疑慮與挑戰,包括因缺乏權威的第三方基準報告,其性能驗證仍存疑。同時,Engram存在生態短板,缺乏外掛程式生態與C端入口,商業化能力弱於競品。此外,其多模態能力情況尚不明確,V4版本是否具備相關能力仍需觀察。
開源實現
條件記憶架構的具體實現由
DeepSeek開源,其相關記憶模組名為Engram,該模組的開源時間與架構論文的發布時間基本同步,均在2026年1月。
影響與意義
條件記憶架構由DeepSeek公司於2026年1月13日通過
梁文鋒署名的論文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》正式提出,該架構通過在等參數、等算力條件下引入可擴展的查找記憶結構,顯著提升了大型語言模型在知識調用、推理、代碼、數學等任務上的表現,同時DeepSeek開源了相關記憶模組Engram。