Falcon Mamba 7B是全球首個通用大型Mamba架構模型,採用SSLM架構,不同於傳統的Transformer架構。
基本介紹
- 外文名:Falcon Mamba 7B
- 類型:架構模型
產品性能,產品優勢,
產品性能
在性能上,Falcon Mamba 7B在多個基準測試中超越了同尺寸的領先模型,如Llama 3.1 8B和Mistral 7B。
產品優勢
Falcon Mamba 7B能夠處理任意長度的序列,無需額外的記憶體或計算資源,適用於多種企業級套用。
Falcon Mamba 7B是全球首個通用大型Mamba架構模型,採用SSLM架構,不同於傳統的Transformer架構。
基於此設計的Mamba-2架構,其核心層是對Mamba選擇性SSM的改進,訓練速度比Mamba-1快2-8倍,同時支持更大的狀態維度。該論文入選ICML 2024。2024年8月,阿聯技術創新研究所(TII)發布了首個通用的大型Mamba架構開源模型Falcon Mamba 7B。該模型性能超越了同尺寸級別的Llama 3.1 8B和Mistral 7B等Transformer模型。...
Falcon H1R 7B採用Transformer與Mamba2的混合架構,是一個Causal Decoder-only架構。其中,Transformer Layers利用注意力機制處理複雜的依賴關係;Mamba2 Blocks利用狀態空間模型實現線性時間序列建模。這種設計支持256k超長上下文。模型的訓練過程分為兩個階段。第一階段為冷啟動監督微調,以Falcon-H1-7B為基座,聚焦長程...
