《Attention Residuals: Rethinking depth-wise aggregation》是月之暗面（Kimi團隊）於2026年3月16日發布的論文。
該論文提出“注意力殘差”方法，針對傳統大模型的固定累積殘差連線模式進行了改進，用基於softmax注意力的動態聚合替代傳統的固定殘差累加，使模型能夠根據輸入內容有選擇性地聚合前序層的信息。
為解決跨層注意力帶來的記憶體與通信開銷，論文進一步提出了塊注意力殘差（Block AttnRes）設計，將模型的層分組為塊進行注意力計算。
該方案在Kimi Linear架構（總參數48B，激活參數3B）上使用1.4T token進行了預訓練驗證，獲得了約1.25倍的計算效率優勢，且推理延遲增加小於2%。
論文發布後，特斯拉CEO埃隆·馬斯克、前OpenAI研究員Andrej Karpathy與Jerry Tworek等人在社交媒體上提及了該工作。
月之暗面創始人楊植麟在2026年英偉達GTC大會上介紹了這一技術。
論文的共同第一作者包括Guangyu Chen、Yu Zhang和Jianlin Su。
基本介紹
- 外文名：Attention Residuals: Rethinking depth-wise aggregation
- 關鍵字：注意力殘差
- 發表日期：2026年3月
核心內容,實驗與性能,社會影響,相關事件,研究團隊,
核心內容
論文《Attention Residuals: Rethinking depth-wise aggregation》的核心內容是對Transformer架構中長期使用的固定、均勻累加的殘差連線進行根本性改進，提出了“注意力殘差”機制，用基於Softmax的、輸入依賴的跨層注意力機製取代傳統的固定加法累加。
其理論靈感來源於“時間與深度的對偶性”，將Transformer中在序列維度上起作用的注意力機制“旋轉90度”套用於網路的深度維度，使得每一層能夠根據當前輸入動態地、有選擇性地聚合前序層的輸出信息。
為解決全量注意力殘差在訓練大規模模型時帶來的記憶體和通信開銷問題，論文進一步提出了“分塊注意力殘差”，將網路層分組為塊，在塊內進行完整的深度注意力計算，而塊間則基於塊級別的聚合表征進行注意力，從而顯著降低了開銷。
該研究在Kimi Linear架構上進行了驗證，該架構總參數為48B，激活參數為3B。實驗表明，分塊注意力殘差在1.4T token的預訓練中實現了約1.25倍的計算效率提升，在多項下游基準測試中取得性能改善，尤其在需要多步推理的任務上提升更為突出。
實驗與性能
研究團隊將Block AttnRes集成到Kimi Linear架構（總參數量48B，激活參數量3B）中，在1.4萬億token的數據集上進行了預訓練。通過Scaling Law實驗驗證了該架構的效率，測試了五種模型規模，並為每種規模訓練了三個變體：PreNorm基準模型、全量AttnRes以及約8個塊的Block AttnRes。
在5.6 PFLOP/s-days的計算量下，Block AttnRes的驗證損失為1.692，而基準模型為1.714，相當於約1.25倍的計算效率優勢。在多項下游基準測試中，該架構均帶來性能提升，例如：GPQA-Diamond (+7.5)、Minerva Math (+3.6)、HumanEval (+3.1)、MMLU(+1.1)、TriviaQA (+1.9)。Block AttnRes的推理延遲額外開銷很小（%）。
社會影響
Kimi團隊提出的“注意力殘差”方法，針對傳統大模型的固定累積殘差連線模式進行了改進，引入了更靈活的深度方向聚合機制，替代了傳統遞歸結構。這一創新讓大模型在處理長序列、複雜上下文信息時，能打破計算路徑局限，提升表達精度和處理效率。
對於普通用戶而言，這意味著未來使用大模型處理長文檔、複雜任務時，回響速度更快、結果更精準；對於行業而言，這一突破為長文本大模型的發展提供了新的思路，也推動了AI技術在深度處理領域的進一步升級。
該論文發布後，在人工智慧學術界和工業界引發了廣泛關注與討論。發布僅12小時，瀏覽量便突破200萬次，迅速成為全球AI領域的關注焦點。科技領袖埃隆·馬斯克在社交媒體轉發並評價該工作“令人印象深刻”。前特斯拉AI負責人、OpenAI聯合創始人安德烈·卡帕西評價稱“看來我們還沒把‘Attention is All You Need’這句話按字面意思理解透”。前OpenAI研究負責人Jerry Tworek評價此項工作意味著“深度學習2.0”的到來。該研究已被世界各地的頂尖AI實驗室納入重點研究範疇。
相關事件
2026年3月16日，月之暗面（Kimi團隊）在arXiv平台發布了論文《Attention Residuals: Rethinking depth-wise aggregation》。該論文迅速引發全球AI領域的廣泛關注與討論。發布僅12小時，其瀏覽量便突破200萬次。特斯拉CEO馬斯克在社交媒體上公開點讚，稱其為“亮眼的工作”。隨後，前特斯拉AI負責人Andrej Karpathy與前OpenAI研究負責人Jerry Tworek等業內知名人士也對此項研究給予了高度評價，後者更稱其標誌著“深度學習2.0”的到來。Kimi官方也對馬斯克的點讚進行了互動回應。2026年3月17日（美國當地時間），月之暗面創始人楊植麟在英偉達GTC 2026大會上發表主題演講，詳細介紹了包括“注意力殘差”在內的下一代模型架構技術路線圖。這場跨界互動，也讓更多人關注到了大模型架構的創新與發展。
