Mamba-3

Mamba-3是CMU與普林斯頓發布的架構，在15億參數規模下平均準確率達57.6%，比Transformer高出4%，端到端推理延遲僅為Transformer的七分之一。

基本介紹

• 外文名：Mamba-3
• 發布方：CMU、普林斯頓

產品改進

三大核心改進包括指數梯形離散化提升記憶精度、複數值狀態空間補齊邏輯推理短板、MIMO機制榨乾GPU閒置算力，用一半狀態大小達到Mamba-2同等性能。

架構方案

團隊坦承純SSM在檢索任務上仍不如Transformer，提出5:1混合架構方案，與Nemotron-H、Kimi Linear等行業趨勢一致，未來最優解大機率是各取所長。