Mamba是一種新的序列深度學習方法，也是一種新的大語言模型（LLM）架構。它建立在結構化狀態空間模型（SSM）框架之上。
Mamba能高效模擬長期依賴關係，處理長序列時訓練時間與序列長度成比例增加，且記憶體需求穩定。而Transformer的計算負擔會隨序列變長而增加。有模型採用了Transformer與Mamba的混合架構。
基本介紹
- 外文名：Mamba
- 所屬學科：人工智慧
套用,原理,特點,
套用
這可能帶來革命性變化的行業包括：
- 醫療保健：Mamba可以通過快速分析基因數據來加快開發個性化健康藥物的過程。
- 金融：可以部署Mamba來分析長期市場趨勢，從而獲得更準確的股票預測。
- 客戶服務：Mamba能夠為監控長形式討論的聊天機器人提供支持，從而改善客戶端通信。
原理
Mamba是一種新的序列深度學習方法，它建立在一個名為結構化狀態空間模型（SSM）的靈活框架之上。可以將SSM視為構建序列模型的一般方法，包括熟悉的架構，如RNN和CNN。Mamba的突出之處在於它對長序列的效率：它的訓練時間與序列長度成比例地增加，不像Transformers那樣明顯變慢。這是因為Mamba的記憶體需求在文本生成過程中保持不變，而不管序列有多長。雖然Transformers因其使用注意力機制在序列中找到複雜模式的能力而受到歡迎，但這是以隨著序列變長而增加的計算負擔為代價的。因此，Mamba和Transformers都是處理序列的強大工具，但它們的底層工作原理使它們適合不同的任務，Mamba特別適合處理非常長的序列。
特點
Mamba對傳統注意力和MLP塊的偏離使它與眾不同。這種簡化導致模型更輕、更快，並且隨著序列的長度線性縮放，這是任何先前的模型都無法實現的壯舉。
Mamba的主要組成部分包括：
- 選擇性狀態空間（SSM）：循環模型是Mamba SSM的基礎，它根據當前輸入有選擇地處理信息。這使他們能夠過濾掉無關的數據，並專注於相關的信息，這可能導致更有效的處理。
- 簡化的架構：Mamba用一個單一的、內聚的SSM塊取代了Transformer複雜的注意力和MLP塊。這尋求加速推理和降低計算複雜性。
- 硬體感知並行：Mamba可能會表現得更好，因為它使用循環模式和專門為硬體效率創建的並行算法。另一個關鍵組成部分是線性時不變性（LTI）；LTI是S4車型的核心功能之一。這個特徵表明模型的參數在所有時間步中保持不變，保持模型動態的一致性。使用LTI構建序列模型更容易、更有效，這是遞歸和卷積的基礎。
