HySparse

HySparse，是2026年由小米MiMo大模型團隊發布的混合稀疏注意力架構。該架構專為Agent時代設計，採用“極少量全注意力加稀疏注意力”的協同結構，在保障關鍵信息捕獲能力的同時顯著提升計算與存儲效率，為超長文本處理提供兼顧精度與成本的新範式，也為大模型注意力機制的最佳化路徑帶來系統性參考。

基本介紹

• 外文名：HySparse
• 所屬品牌：小米

發展歷史

2026年2月9日，小米MiMo大模型團隊正式發布HySparse混合稀疏注意力架構。

性能特點

在涵蓋通用能力、數學推理、代碼生成及中文理解等多維度評測中，該架構在7B稠密模型與80B混合專家模型兩種典型規模下均展現出持續穩定的性能增益。以80B-A3BMoE模型為例，在總計49層中僅保留5層全注意力，模型整體能力未下降，反而在部分任務上有所提升；KV快取占用降低近十倍，實現性能與資源效率的雙重最佳化。RULER長文本基準測試進一步驗證：即便大幅削減全注意力層數，HySparse仍能可靠維持對遠距離關鍵信息的訪問能力，凸顯其混合結構的魯棒性與適應性。

HySparse標誌著大模型注意力設計從單純追求算力可及性，向兼顧計算效益與部署可行性的關鍵躍遷。作為MiMo系列注意力技術的延續，它在MiMo-V2-Flash所採用的混合滑動視窗注意力（Hybrid SWA）基礎上實現重要演進——通過引入全局性、高價值token的信息補充機制，使稀疏結構與全注意力形成兼容互補關係。該改進在提升建模能力的同時，未增加KV快取開銷，亦未帶來明顯額外計算負擔。