LoZA

LoZA(LongCat ZigZag Attention)是美團LongCat系列於2026年1月發布的稀疏注意力機制。

基本介紹

  • 外文名:LoZA
  • 發布時間:2026年1月
  • 屬性:稀疏注意力機制
發展歷史,簡介,

發展歷史

2026年1月,美團LongCat系列發布稀疏注意力機制LoZA。

簡介

LoZA將50%低性能MLA模組替換為流式稀疏注意力SSA,形成ZigZag交錯結構,計算複雜度降至線性級O(L·S)。
LoZA處理128K上下文解碼速度比原版快10倍,256K上下文預載入速度快50%解碼階段省30%算力,LongCat-Flash-Exp解鎖1M上下文視窗,性能超越Qwen-3。
LoZA無需從頭訓練在中期訓練階段即可完成改造,每個視窗包含1個全局塊和7個局部塊(單塊128Token),設計1024Token稀疏視窗兼顧局部細節與整體邏輯。

相關詞條

熱門詞條

聯絡我們