科技簡介
混元-A13B作為基於專家混合(MoE)架構的大模型,總參數800億、激活參數130億,不僅在效果上達到了高標準,而且在尺寸上也做到了極致的最佳化,成功平衡了模型性能與資源占用。號稱“在效果比肩頂尖開源模型的同時,大幅降低推理延遲與計算開銷”。
混元-A13B模型通過 MoE架構,為每個輸入選擇性地激活相關模型組件,號稱與同等規模的密集模型相比“又快又省”,而且為個人開發者和中小企業提供了一個“可擴展且高效的替代方案”。
預訓練中,模型用了20萬億高質量網路詞元語料庫,提升了模型推理能力的上限;完善了MoE架構的ScalingLaw (即規模定律)理論體系,為MoE架構設計提供了可量化的工程化指導,提升了模型預訓練效果。
用戶可以按需選擇思考模式,快思考模式提供簡潔、高效的輸出,適合追求速度和最小計算開銷的簡單任務;慢思考模式涉及更深、更全面的推理步驟。這最佳化了計算資源分配,兼顧效率和準確性。
發展歷史
2025年6月27日,混元-A13B發布,該模型引入了創新的**動態推理方法**,使其能夠根據任務複雜性在快速和深度“思考”之間智慧型切換。
核心優勢
“混元-A13B”的核心優勢在於其**實時調整推理深度**的能力。對於簡單的查詢,模型會啟用**快速模式**,以最少的推理步驟迅速回響;而面對更複雜的問題,它則能激活涉及**多步驟思考的深度推理過程**。用戶還可以通過特定命令來手動控制這種行為,使用“**/think**”啟用深度模式,或使用“**/no_think**”關閉深度模式。該模型還採用了**混合專家(MoE)架構**,總參數量高達**800億**,但在實際推理過程中,僅有**130億個參數**處於活躍狀態,這有助於提高運行效率。此外,“混元-A13B”支持最高達**256,000個標記的上下文視窗**,處理長文本的能力顯著增強。
性能特點
Agent 能力突出:在 BFCL V3、C3-Bench 等多個權威 Agent 評測中,得分全面超越業界頂尖模型,其強大智慧型體能力源於 SFT 階段的精心數據構建和 RL 階段的精準獎勵信號設計,在工具調用、任務規劃和複雜決策方面表現優異。
理科推理能力強:在 AIME(美國數學邀請賽)、BBH(大型語言模型難題基準)等測試中,表現與參數量數倍於己的模型不相上下,部分指標甚至取得最高分。
長文處理優勢顯著:原生支持 256K 超長上下文視窗,在 RULER 等長文本評測中表現出優異的穩定性。
具有雙思考模式:融合了 “快慢思考” 雙模式,快思考模式提供簡潔、高效的輸出,適合簡單任務;慢思考模式涉及更深、更全面的推理步驟,用戶可在推理時按需在效率與深度間自由切換。