Mixtral 8x7B是由Mistral AI團隊於2023年12月發布的一款基於Transformer架構的稀疏專家混合（SMoE）開源大語言模型，採用Apache 2.0許可證。該模型總參數量為47B，但在推理時每個token僅激活約13B參數。在多項基準測試中，其性能表現優於或比肩Llama 2 70B及GPT-3.5。模型支持長達32k token的上下文視窗，並具備處理英語、法語、德語等多語言任務的能力。Mistral AI後續推出了經過指令微調的版本Mixtral-8x7B-Instruct。
研發背景,發展歷程,核心技術,架構基礎,稀疏混合專家層,參數量與效率,專家行為分析,運營模式,核心團隊,重要事件,
研發背景
Mixtral 8x7B由Mistral AI公司開發，於2023年12月發布。發布時，Mistral AI在社交平台X上通過一條磁力連結悄然發布，沒有預告、官方部落格或Demo，直接引爆了開源社區，成為首個引爆開源社區的MoE開源模型。
該模型基於稀疏混合專家（MoE）架構，發布時即因在多項基準測試中的優異表現受到廣泛關注。著名科學家Brian Roemmele在推特上評價其開源是“自Meta首次發布LLaMA以來最重要的時刻之一”。
發展歷程
Mixtral 8x7B由Mistral AI開發，其發展歷程始於2023年12月。2023年12月11日，Mistral AI團隊發布了高質量的稀疏專家混合模型Mixtral 8x7B基礎模型，採用Apache 2.0許可證開源。隨後，Mistral AI推出了指令微調版本Mixtral 8x7B – Instruct，該版本通過監督微調和直接偏好最佳化訓練以更好地遵循人類指令。
研究論文《Mixtral of Experts》披露了模型的架構細節，總參數量為47B，激活參數量為13B，在多項基準測試中超越Llama 2 70B和GPT-3.5。
2024年4月，在多項公開評測中，其他開源模型如Qwen 1.5-32B在部分評測標準上追平或超越了Mixtral 8x7B。
2026年3月，主導Mixtral 8x7B等核心模型訓練的Mistral AI聯合創始人之一查普洛特加入xAI。
核心技術
Mixtral 8X7B的核心是採用了稀疏混合專家架構，這種架構能在保持高性能的同時實現參數高效。該模型是一種稀疏的混合專家模型，是目前性能最佳的大型語言模型之一。
架構基礎
Mixtral 8X7B的整體架構基於Transformer的Decoder-only結構，並支持32k的上下文長度。
稀疏混合專家層
其稀疏混合專家層的具體實現是用8個專家前饋網路替換原Transformer每層中的單個前饋模組。同時引入路由網路，對每個輸入token，動態選擇TopK=2個專家進行處理並將它們的輸出匯總。該模型的深度為32層。
參數量與效率
Mixtral 8X7B的總參數量約為47B或46.7B。對於每個輸入token，該模型僅使用約13B的激活參數。“8x7B”的命名是指其包含8個專家，每個專家基於Mistral 7B模組構建，而非總參數量為56B。
專家行為分析
根據論文研究，在專家選擇模式上未發現明顯的任務特異性。但觀察到文本中的連續token通常會被分配給同樣的專家，且Python代碼中的縮進token也經常被分配給同一專家。
運營模式
Mixtral 8x7B模型採用Apache 2.0開源許可證發布，其代碼與模型權重均對社區開放，允許免費用於學術和商業目的。這一開源策略是Mistral AI的核心運營思路，通過發布高質量開源模型，迅速吸引了大量開發者，構建了龐大的社區生態並積累了行業影響力。
在堅持開源的同時，Mistral AI也通過提供API服務（如名為“Mistral Small”的託管服務）等形式探索商業化路徑。該公司的發展獲得了資本市場的認可，曾獲得微軟等機構的投資。
核心團隊
Mixtral 8X7B由Mistral AI開發。其聯合創始人查普洛特直接主導了包括Mixtral 8x7B在內的核心模型的訓練工作。
重要事件
2023年12月11日，Mistral AI團隊發布了稀疏專家混合模型Mixtral 8x7B。該模型通過社交平台直接發布，迅速在開源社區引發廣泛關注。
2024年2月，微軟宣布與Mistral AI建立合作夥伴關係。
模型發布後，其開源和高效的特點使其被快速集成到第三方套用中，例如Brave瀏覽器的Leo助理功能將其作為默認大型語言模型。此外，Mixtral 8x7B在多項基準測試中表現優異，特別是在數學、代碼生成和多語言理解任務上優於Llama 2 70B等模型。
