Mistral 7B是由法國人工智慧初創公司Mistral AI於2023年9月發布的初始版本Mistral-7B-v0.1，一款擁有73億參數的開源大型語言模型。該模型採用分組查詢注意力和滑動視窗注意力機制，以提升推理速度並有效處理長序列。其在Apache 2.0許可下發布，允許免費商用，並可在本地或主流雲平台部署使用。
該模型在多項基準測試中的表現優於Llama 2 13B，並在代碼、數學和推理任務上超過LLaMA 1 34B。2024年3月，Mistral AI發布了Mistral 7B v0.2基礎模型，將上下文視窗長度從8k提升至32k，並取消了滑動視窗注意力機制。基於該模型，Mistral AI後續於2023年11月推出了經過指令微調的Mistral 7B Instruct版本，並於2024年7月推出了專注於數學推理的Mathstral等衍生模型。此外，該模型已在Amazon Bedrock等主流雲平台提供服務。
基本介紹
- 外文名：Mistral 7B
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
Mistral AI是一家法國人工智慧公司，由Arthur Mensch（CEO）、Timothée Lacroix（CTO）和Guillaume Lample（首席科學官）於2023年4月在巴黎創立。創始團隊均來自谷歌DeepMind和Meta等知名公司。公司成立後發展迅速，在2023年6月便通過首輪融資籌集了1.13億美元，旨在開發開源大模型以與OpenAI、谷歌等科技巨頭競爭。
作為該公司發布的首個語言模型，Mistral 7B於2023年9月正式推出。其研發初衷旨在以相對較小的參數規模實現高性能，挑戰當時Llama 2 13B等主流模型。模型發布後，在多項基準測試中表現優異，在所有標準基準測試上的性能均優於Llama 2 13B，並在數學、代碼和推理任務上接近或超越了參數規模更大的Llama 1 34B模型。並以寬鬆的Apache 2.0協定開源，迅速在開發者社區中獲得關注。其高性能得益於採用了分組查詢注意力(GQA)以加速推理，以及滑動視窗注意力(SWA)以低成本處理長序列等最佳化技術。寬鬆的開源協定也極大地促進了社區基於Mistral 7B進行微調和二次開發，使其迅速成為開源社區中極具影響力的模型之一。
發展歷程
Mistral 7B由法國人工智慧初創公司Mistral AI開發，其發展歷程始於2023年9月，此後經歷了多次重要版本更新，並衍生出多個專用模型。
2023年9月，Mistral AI發布了Mistral 7B的初始版本Mistral-7B-v0.1。該版本上下文視窗長度為8k，在所有基準測試中均優於Llama 2 13B，並在代碼、數學和推理方面優於LLaMA 1 34B。
2023年11月，Mistral AI發布了指令微調版本Mistral 7B Instruct。該版本在HuggingFace上公開的指令數據集上對基礎模型進行微調，在MT-Bench上優於所有7B模型，並可與13B聊天模型相媲美。2024年3月25日，Mistral AI更新了Mistral-7B-Instruct-v0.2的模型卡，該模型是Mistral-7B-Instruct-v0.1的改進型指令微調版本。
2024年3月24日，Mistral AI發布並開源了Mistral 7B v0.2基礎模型。相較於v0.1版本，其上下文視窗長度從8k提升至32k，並取消了滑動視窗注意力機制。
基於Mistral 7B的架構，後續衍生出多個專注於特定領域的專用模型。例如，2024年7月發布的Mathstral是一個專注於數學推理和科學發現的7B模型，支持32k上下文視窗，同樣遵循Apache 2.0協定。
核心技術
Mistral 7B是一個擁有73億（7.3B）參數的開源語言模型，基於Transformer架構。其核心技術創新包括分組查詢注意力（GQA）和滑動視窗注意力（SWA）。
分組查詢注意力（GQA）用於加速推理速度，減少解碼過程中的記憶體需求，實現更高的批處理大小和吞吐量。
在初始的v0.1版本中，Mistral 7B採用了滑動視窗注意力（SWA）機制。SWA通過讓每個token只關注前4096個隱藏狀態，以線性計算成本處理長序列，有效控制快取記憶體增長。該機制使模型能夠高效處理最多約131k個token的上下文。
在v0.2版本中，Mistral 7B將上下文長度從8K提升至32K，並取消了滑動視窗注意力（SWA）機制，同時調整了Rope Theta參數（= 1e6）。
運營模式
Mistral 7B採用Apache 2.0開源協定發布，該協定高度寬鬆，允許免費商用、修改和分發。模型可通過Hugging Face等平台直接下載獲取。此外，該模型的指令微調版本（如Mistral-7B-Instruct）也在魔搭（ModelScope）同步上線，方便國內開發者下載和使用。用戶可在本地設備或伺服器上免費運行該模型。
Mistral AI提供官方SDK（如mistral-inference和mistral-finetune）方便用戶部署和微調。此外，模型與主流雲平台（如Google Cloud Vertex AI、AWS、Azure）集成，方便用戶通過雲服務使用。
核心團隊
Mistral 7B由Mistral AI公司開發。Mistral AI由Arthur Mensch、Timothée Lacroix和Guillaume Lample於2023年4月成立，這些創始人來自於谷歌DeepMind和Meta等知名公司。
聯合創始人查普洛特直接主導了Mistral 7B、Mixtral 8x7B及Mistral Large等核心模型的訓練。
重要事件
2023年9月，Mistral AI發布了其73億參數的開源語言模型Mistral 7B，其發布方式為直接在社交媒體上貼出模型的磁力下載連結。
發布後短期內，圍繞Mistral 7B的下載、部署、微調等配套生態迅速發展起來。
Mistral 7B自發布後，憑藉其性能表現，被視為7B至13B參數級別小型開源模型中的標桿之一，常被用於與其他同類模型的對比基準。
2024年2月，Mistral-7B-v0.1-instruct模型被集成到Cloudflare的Workers AI平台。
2024年3月，Mistral AI發布了Mistral 7B v0.2基礎模型，將上下文長度從8K提升至32K；對應的指令調優版本Mistral-7B-Instruct-v0.2此前已開放測試。
2024年4月，微軟研究人員基於Mistral-7B微調出Orca-Math模型，在GSM8K數學推理任務上實現了86.81%的準確率；同月，Mistral 7B模型上線亞馬遜雲科技Amazon Bedrock平台。
2024年7月，Mistral AI發布了基於Mistral 7B構建、專注於數學推理和科學發現的7B模型「Mathstral」。
