混元-A13B

混元-A13B

混元-A13B是騰訊於2025年6月27日發布並開源的大語言模型,採用混合專家(MoE)架構,總參數量800億,實際激活參數130億。該模型支持動態推理方法,可在快思考模式和慢思考模式間智慧型切換,前者提供高效輸出,後者支持多步驟深度推理,用戶還可通過/think、/no_think指令手動控制模式。

基於混合專家(MoE)架構,總參數規模為800億,單次推理僅需激活130億參數,在保持強大智慧型的同時,推理吞吐量相較同類前沿模型提升超過100%。

該模型在極端條件下僅需1張中低端GPU卡即可部署,通過GitHub、Hugging Face及騰訊雲API提供下載訪問。其預訓練使用20萬億詞元語料庫,支持256,000標記的上下文視窗,並在數學推理、科學任務中表現領先。騰訊同步開源了ArtifactsBench和C3-Bench Agent評估數據集,並計畫持續擴展混元大模型家族。

基本介紹

  • 中文名:混元-A13B
  • 品牌歸屬:騰訊
  • 發布時間:2025年6月27日
  • 類別:大語言模型
科技簡介,發展歷史,核心優勢,性能特點,

科技簡介

混元-A13B作為基於專家混合(MoE)架構的大模型,總參數800億、激活參數130億,不僅在效果上達到了高標準,而且在尺寸上也做到了極致的最佳化,成功平衡了模型性能與資源占用。號稱“在效果比肩頂尖開源模型的同時,大幅降低推理延遲與計算開銷”。
混元-A13B模型通過 MoE架構,為每個輸入選擇性地激活相關模型組件,號稱與同等規模的密集模型相比“又快又省”,而且為個人開發者和中小企業提供了一個“可擴展且高效的替代方案”。
預訓練中,模型用了20萬億高質量網路詞元語料庫,提升了模型推理能力的上限;完善了MoE架構的ScalingLaw (即規模定律)理論體系,為MoE架構設計提供了可量化的工程化指導,提升了模型預訓練效果。
用戶可以按需選擇思考模式,快思考模式提供簡潔、高效的輸出,適合追求速度和最小計算開銷的簡單任務;慢思考模式涉及更深、更全面的推理步驟。這最佳化了計算資源分配,兼顧效率和準確性。

發展歷史

2025年6月27日,混元-A13B發布,該模型引入了創新的**動態推理方法**,使其能夠根據任務複雜性在快速和深度“思考”之間智慧型切換。

核心優勢

“混元-A13B”的核心優勢在於其**實時調整推理深度**的能力。對於簡單的查詢,模型會啟用**快速模式**,以最少的推理步驟迅速回響;而面對更複雜的問題,它則能激活涉及**多步驟思考的深度推理過程**。用戶還可以通過特定命令來手動控制這種行為,使用“**/think**”啟用深度模式,或使用“**/no_think**”關閉深度模式。該模型還採用了**混合專家(MoE)架構**,總參數量高達**800億**,但在實際推理過程中,僅有**130億個參數**處於活躍狀態,這有助於提高運行效率。此外,“混元-A13B”支持最高達**256,000個標記的上下文視窗**,處理長文本的能力顯著增強。

性能特點

Agent 能力突出:在 BFCL V3、C3-Bench 等多個權威 Agent 評測中,得分全面超越業界頂尖模型,其強大智慧型體能力源於 SFT 階段的精心數據構建和 RL 階段的精準獎勵信號設計,在工具調用、任務規劃和複雜決策方面表現優異。
理科推理能力強:在 AIME(美國數學邀請賽)、BBH(大型語言模型難題基準)等測試中,表現與參數量數倍於己的模型不相上下,部分指標甚至取得最高分。
長文處理優勢顯著:原生支持 256K 超長上下文視窗,在 RULER 等長文本評測中表現出優異的穩定性。
具有雙思考模式:融合了 “快慢思考” 雙模式,快思考模式提供簡潔、高效的輸出,適合簡單任務;慢思考模式涉及更深、更全面的推理步驟,用戶可在推理時按需在效率與深度間自由切換。

相關詞條

熱門詞條

聯絡我們