abab 6.5s

abab 6.5s是稀宇科技MiniMax於2024年4月17日發布的abab 6.5系列模型中的高效版本。該模型採用萬億參數規模的MoE（混合專家）架構，支持200k tokens上下文長度，可在1秒內處理近3萬字文本。相較於同系列abab 6.5模型，其通過架構最佳化提升了運行效率，同時在知識、推理、數學等核心能力測試中接近GPT-4、Claude-3等國際頂尖模型水平。該模型已部署至海螺AI生產力工具及開放平台。

基本介紹

• 開發商：稀宇科技MiniMax 
• 發布時間：2024年4月17日   
• 模型架構：MoE架構  
• 上下文長度：200k tokens  
• 文本處理：1秒/3萬字   
• 參數規模：萬億級  

技術架構

• 採用國內首個MoE架構，通過稀疏路由機制激活部分參數提升效率
• 訓練過程包含跨模態對齊、模態專家訓練、多模態調優三階段
• 架構最佳化涉及數據管道重構、訓練算法改進及並行策略升級

性能表現

• 在891次"大海撈針"長文本測試中保持全量準確回答
• 知識、推理、數學、編程等能力測試接近GPT-4水平
• 支持多輪對話場景下200k tokens上下文處理

研發背景

• MiniMax於2024年4月發布國內首個MoE架構abab 6.5系列模型
• 2024年4月疊代推出abab 6.5系列，較前代模型性能提升顯著
• 研發過程中投入80%以上資源進行架構預研

套用部署

• 已集成至海螺AI生產力工具提供智慧型問答服務
• 通過開放平台向開發者提供API調用接口
• 支持企業級套用場景下的高速文本處理需求