殘差連線是神經網路中的一種設計，通過在層間添加捷徑連線，使網路能夠學習輸入與理想輸出之間的殘差。該設計也被稱為跳躍連線、捷徑連線或Skip Connection。其主要作用是緩解深層網路中的梯度消失問題，穩定訓練並防止網路特徵退化。
該設計在殘差網路、Transformer的編碼器與解碼器層、以及ResUNet等架構中得到廣泛套用。在殘差網路中，其基本構建單元是包含捷徑連線的殘差塊，通過恆等映射或將輸入直接加到輸出上來實現。
殘差連線自2015年在殘差網路（ResNet）中廣泛套用後不斷演進。2026年，出現了流形約束超連線（mHC）新架構，旨在解決傳統超連線在大規模模型訓練中的不穩定性問題。
基本介紹
- 別名：跳躍連線、捷徑連線、Skip Connection
- 主要作用：緩解梯度消失問題
- 套用架構：殘差網路
Transformer
ResUNet - 提出時間：2015年
- 提出者：何愷明
- 首次套用：殘差網路
演進與變體,定義與別名,
演進與變體
mHC是殘差連線的一種變體，由DeepSeek於2026年1月提出。該架構通過將Transformer的單一殘差流擴展為多流並行架構，並利用Sinkhorn-Knopp算法將連線矩陣約束在雙擬隨機矩陣流形上，以應對傳統超連線在大規模訓練中的不穩定性問題。mHC在保留加寬殘差流性能提升的同時，改善了訓練不穩定和顯存消耗過大的情況。
工程最佳化包括使用TileLang框架實現融合核心、設計專用核心以及採用DualPipe並行策略。相比超連線，mHC將最大增益幅度降低了三個數量級，增強了傳播穩定性。
定義與別名
殘差連線是一種在神經網路層間添加捷徑的設計，其內部的殘差塊使用了跳躍連線，緩解了在深度神經網路中增加深度帶來的梯度消失問題。殘差學習通過巧妙的“捷徑”設計讓信息暢通無阻，捷徑連線允許信息直接從前面的層跳過中間的層，直接傳遞到後面的層。
殘差連線也被稱為跳躍連線、捷徑連線或Skip Connection，這些名稱均指代同一概念，側重描述神經網路中層間的捷徑設計。
