Hyper-Connections

超連線（Hyper-Connections）是位元組跳動豆包大模型團隊於近日提出的一種殘差連線替代方案。該技術通過引入可學習的深度連線與寬度連線，動態調整層間連線權重，旨在解決傳統殘差連線中梯度消失與表示崩潰的權衡問題，並在實驗中顯示出提升模型性能與加速訓練收斂的效果。

然而，超連線在擴展到大規模模型訓練時，因其無約束的可學習映射破壞了殘差連線的恆等映射特性，導致了訓練不穩定與信號劇烈放大等問題。為此，DeepSeek團隊在後續工作中提出了流形約束超連線（mHC），通過數學工具對連線參數施加約束以恢復穩定性。

基本介紹

• 中文名：超連線
• 外文名：Hyper-Connections

技術優勢

Hyper-Connections方案在實驗中展示出顯著的性能提升效果，在大規模語言模型的預訓練中，使收斂速度最高可加速80%（1.8倍）。在下游任務表現上，例如在ARC-Challenge基準測試中，準確率可提升6個百分點，在計算機視覺任務中，如套用於Vision Transformer模型，Top-1準確率最多可提升2.69%。Hyper-Connections的引入幾乎不增加額外的計算開銷或參數量，通過引入可學習的深度連線和寬度連線，增強了模型沿殘差路徑的信息表達能力和靈活性，能夠動態調整不同層之間的連線強度甚至重新排列網路層次結構。實驗表明，動態超連線效果優於靜態版本。

然而，早期無約束的Hyper-Connections在大規模模型訓練時，因其破壞了殘差連線的恆等映射特性，會引發嚴重的訓練不穩定，且會帶來顯著的記憶體訪問開銷，限制了其可擴展性。其改進方案——流形約束超連線在基本保留Hyper-Connections性能優勢的前提下，通過引入流形約束有效地解決了穩定性問題，確保了前向與反向傳播中信號的穩定流動，同時額外訓練時間開銷僅為約6.7%。實驗證明，mHC架構模型的表現全面超越了傳統Hyper-Connections模型，並顯著優於基線殘差連線模型。

套用前景

Hyper-Connections及其改進技術mHC已被證明可廣泛套用於大規模語言模型的預訓練，並適用於稠密（Dense）模型和混合專家（MoE）模型架構。該技術具有推廣到文、音、視、圖等多模態理解與生成等基座模型任務的潛力。此外，通過引入流形約束恢復穩定性，mHC為未來設計更複雜、更多樣化的神經網路信息傳輸機制提供了新的方向。