Ministral 3B是Mistral AI推出的端側最佳化模型,為端側計算設計,提供高達128k的上下文長度和交錯滑動視窗注意力機制。
基本介紹
- 外文名:Ministral 3B
- 發布方:Mistral AI
產品優勢,產品評測,
產品優勢
這些模型在多種任務中展示優異性能,尤其在延遲和計算效率方面超越10B以下同類模型。
產品評測
Ministral 3B已在大多數基準測試中超越Mistral 7B,可微調用於多種專業任務。
Ministral 3B是Mistral AI推出的端側最佳化模型,為端側計算設計,提供高達128k的上下文長度和交錯滑動視窗注意力機制。
Mistral Large 3是一個總參數量達675B、激活參數為41B的混合專家模型;Ministral 3系列則包含14B、8B和3B三個參數規模的密集模型,每個規模均提供基礎版、指令版和推理版變體。Mistral Large 3是在3000塊英偉達H200 GPU上從頭訓練而成,旨在提供較強的多語言對話與圖像理解能力,並在LMArena OSS非推理模型榜單位列...
在Stellantis合作的車載助手中,TensorRT-LLM支持Ministral-14B-Instruct模型的低延遲推理,通過本地化部署實現無需網路連線的語音互動和駕駛輔助功能,相關模型可在車載Jetson設備上運行。版本更新 TensorRT LLM 1.0 版本的核心升級聚焦於易用性提升,且針對不同角色的用戶需求進行了差異化設計。對於模型部署者,框架支持...
