Attention Residuals（注意力殘差）是一種由月之暗面Kimi團隊於3月提出的神經網路架構改進技術。該技術對Transformer中的核心殘差連線機制進行了重新設計。
其核心創新在於將傳統的固定加法累加替換為基於Softmax注意力的動態聚合，使每一層能根據輸入有選擇地聚合前序層信息。在Kimi Linear 48B模型上的實驗表明，該方法在效果相近的前提下，訓練計算量減少了約20%，相當於獲得了1.25倍的效率優勢。這項研究由陳廣宇、蘇劍林、張宇等人共同完成。
基本介紹
- 中文名：注意力殘差
- 外文名：Attention Residuals
- 別名：AttnRes
基本含義,發展歷程,基本特徵,套用,影響,相關研究,
基本含義
Attention Residuals（AttnRes，注意力殘差）是一種由月之暗面（Kimi）團隊提出的神經網路架構改進技術。其核心思想是將Transformer中的注意力機制“旋轉90度”，套用於網路深度維度。它通過引入基於Softmax的注意力機制，替代傳統殘差連線的固定加法累加方式，讓當前網路層能夠動態、有選擇性地聚合之前所有層的輸出信息。這一設計旨在解決傳統殘差連線中隨網路加深導致的“PreNorm稀釋”問題，即隱藏狀態幅度線性增長、深層貢獻被稀釋、訓練不穩定性增加的問題。
發展歷程
2026年3月16日，月之暗面Kimi團隊發布技術報告《Attention Residuals》，其中首次公開提出了Attention Residuals技術。該技術報告受到了關注。特斯拉CEO埃隆·馬斯克在社交媒體上提及了此項工作。前OpenAI研究員Jerry Tworek、聯合創始人Andrej Karpathy等業內專家也對此進行了討論。
2026年3月18日，Kimi聯合創始人楊植麟在英偉達GTC 2026大會上發表演講，介紹了包括Attention Residuals在內的Kimi下一代模型技術規劃。該技術由Kimi的數十名研究員共同完成。三位對項目貢獻較大的研究員被列為共同第一作者，他們是深圳國際學校高三學生陳廣宇(Guangyu Chen)、旋轉位置編碼RoPE提出者蘇劍林(Jialin Su)、Kimi Linear架構第一作者張宇(Yu Zhang)。
基本特徵
Attention Residuals (AttnRes) 是針對Transformer殘差連線機制的創新性改進，旨在解決深層網路信息稀釋問題。其核心機制是將注意力機制從序列維度“旋轉”套用到深度維度。每一層配備一個可學習的查詢向量(Query)，對之前所有層的輸出（作為Key和Value）計算Softmax注意力權重，進行加權聚合，形成當前層的輸入，替代了傳統的固定加法累加。
為解決計算開銷問題，提出了Full AttnRes（全注意力殘差）和Block AttnRes（塊注意力殘差）兩種實現方案。Block AttnRes將網路劃分為若干塊（如8個），塊內使用傳統殘差連線，塊間套用AttnRes機制，大幅降低開銷。在工程最佳化方面，訓練時引入“跨階段快取”機制，使整體訓練的額外開銷控制在4%以內；推理時採用“兩階段計算”策略，最終推理延遲增加不超過2%。
AttnRes緩解了預歸一化帶來的稀釋問題，產生更均勻的跨深度輸出幅度和梯度分布，抑制了隱藏狀態的數值爆炸，使深層網路訓練更穩定。在固定計算量和參數量下，相比標準殘差連線偏好“更寬、更淺”的模型，AttnRes的最優點則偏向“更窄、更深”的模型，表明其能更高效地利用網路深度。
套用
Attention Residuals主要套用於Kimi團隊自研的Kimi Linear混合線性注意力架構。該技術方案在總參數量為480億（激活參數量30億）的Kimi Linear 48B模型上進行了驗證，該模型使用1.4萬億token進行預訓練。
驗證結果顯示，在達到相近驗證損失的前提下，相比傳統殘差連線基線，訓練計算量減少了約20%，獲得了1.25倍的計算效率優勢。
在多項基準測試中，採用該技術的模型達到或超過基線模型，尤其在需要複雜推理的任務上提升顯著，例如GPQA-Diamond（科學問答）提升7.5%，Minerva Math（數學）提升3.6%，HumanEval（代碼生成）提升3.1%。在MMLU（知識）和TriviaQA等任務上也有穩健提升。
影響
Attention Residuals的發布被視為對Transformer基礎架構的重要創新，挑戰了已使用十年的殘差連線這一“默認設定”，鼓勵業界從第一性原理重新思考基礎組件。該研究為後發大模型提供了一條可能擺脫單純“堆算力、堆參數”內卷的新技術路徑，通過架構創新提升效率。
該研究獲得了包括埃隆·馬斯克在內的多位科技領袖和AI專家的公開讚譽，被評價為“令人印象深刻”、“深度學習2.0的重要信號”。月之暗面Kimi團隊已承諾將Attention Residuals與MuonClip最佳化器、Kimi Linear架構一同開源，貢獻給AI開源社區。
其“將注意力旋轉90度”的思想，為注意力機制的套用拓展了新的維度（深度維度），可能影響未來大模型的架構設計方向。
相關研究
Attention Residuals (AttnRes) 的提出，旨在解決傳統殘差連線在極深Transformer網路中存在的“PreNorm稀釋”問題。將注意力機制套用於網路深度維度的構想並非首次。早期研究如超級連線（Hyper-Connections, HC）可視為一種層間注意力機制。前OpenAI首席科學家Ilya Sutskever曾提出將殘差連線視為沿深度展開的簡化LSTM的觀點，為AttnRes提供了部分靈感來源。
AttnRes是首個將這一思想成功實現並規模化套用的工作。在Kimi團隊公布的技術路線圖中，Attention Residuals是其三大底層架構創新之一，與MuonClip最佳化器、Kimi Linear架構並列。
