MiniMax-Text-01是由上海稀宇科技有限公司研發的超長文本多模態大模型，於2025年1月15日首次發布並開源。該模型採用了創新的混合架構設計，包含線性注意力機制（Lightning Attention）與Softmax注意力層的組合（每8層注意力層中包含7層線性注意力與1層Softmax注意力），並套用專家混合（MoE）技術。其訓練上下文長度達100萬token，推理時可擴展到最長400萬token的上下文視窗。模型總參數量達4560億，激活參數量為459億。在多項基準測試中，該模型在Core Academic Benchmark的GPQA Diamond上獲得54.4分；在4M大海撈針測試（Needle-In-A-Haystack）中實現全綠結果，並在LongBench v2、Ruler等長上下文推理基準上具備優勢。2025年4月16日，該模型入駐國家超算網際網路AI開源社區，成為平台公開的AI模型組件。該模型已在GitHub開源完整權重，其架構創新也為後續模型如MiniMax-M1奠定了基礎。
基本介紹
- 軟體名稱：MiniMax-Text-01
- 開發商：上海稀宇科技有限公司
- 軟體授權：開源
- 上線時間：2025年1月15日
產生背景,發展歷程,核心技術,重要事件,
產生背景
MiniMax-Text-01由上海稀宇科技有限公司研發。其研發始於2024年4月，當時尚沒有模型在千億級別的參數規模層面挑戰傳統的Transformer架構。研發旨在解決傳統Transformer架構在處理長文本時面臨的計算複雜度高、上下文理解受限、記憶體消耗大的問題，並為未來Agent相關套用爆發做準備。
發展歷程
2025年1月15日，上海稀宇科技有限公司（MiniMax）正式發布並開源新一代01系列模型，包括基礎語言大模型MiniMax-Text-01和視覺多模態大模型MiniMax-VL-01。該系列模型首次大規模套用線性注意力機制，支持最高400萬token的上下文視窗。
2025年3月20日，MiniMax-01系列模型（包括Text-01和VL-01）正式上架魔搭社區。
2025年4月，國家超算網際網路平台宣布上線MiniMax國產AI大模型，包括基礎語言大模型MiniMax-Text-01和視覺多模態大模型MiniMax-VL-01，兩者均已入駐超算網際網路AI開源社區。
2025年6月，MiniMax推出首個推理模型M1，該模型基於MiniMax-Text-01開發。
核心技術
MiniMax-Text-01是一款總參數量為4560億、採用混合專家（MoE）技術的模型，每次推理激活459億參數。其核心技術架構採用了混合注意力機制：在80層注意力層中，每7層線性注意力（Lightning Attention）層後放置1層傳統的Softmax注意力層（即7:1混合比例）。為支持超長上下文處理，模型通過Linear Attention Sequence Parallelism Plus (LASP+)、varlen ring attention、Expert Tensor Parallel (ETP) 等並行策略和計算通信重疊方法，支持訓練上下文長度達100萬token，推理時可擴展到400萬token。為實現此架構，研發團隊重構了訓練和推理系統，包括最佳化MoE All-to-all通訊、實現高效的線性注意力CUDA核心，在H20 GPU上模型浮點運算利用率（MFU）超過75%。
在多項基準測試中，模型取得了以下結果：在Core Academic Benchmark的GPQA Diamond上獲得54.4分；在4M‘大海撈針’測試中檢索準確率全綠；在LongBench v2、Ruler等長上下文基準測試中，從128K token開始顯現優勢；在MTOB數據集上展示了長上下文學習能力。模型支持最長400萬token的上下文視窗，約等於處理700萬漢字，在處理長輸入時延遲較低，性能衰減較慢。
重要事件
2025年1月15日，MiniMax正式發布並開源新一代MiniMax-01系列模型，其中包含基礎語言大模型MiniMax-Text-01。該模型首次大規模套用線性注意力機制，支持高達400萬token的上下文視窗，其綜合性能表現良好。
2025年3月20日，MiniMax-01系列模型，包括文本大模型MiniMax-Text-01和視覺多模態模型MiniMax-VL-01，正式上架魔搭社區，可供開發者進行推理與部署。
2025年4月，國家超算網際網路平台宣布上線MiniMax國產AI大模型，基礎語言大模型MiniMax-Text-01已入駐超算網際網路AI開源社區。2025年4月16日，據國家超算網際網路訊息，語言大模型MiniMax-Text-01已入駐超算網際網路AI開源社區。該舉措有助於推動國產大模型發展，促進長上下文研究和套用。
