mHC(DeepSeek發布的新架構)

mHC（流形約束超連線）是DeepSeek於2026年1月1日發布的新型神經網路架構，旨在解決傳統超連線技術在大規模模型訓練中的不穩定性問題，同時保持其性能增益。該架構通過將殘差連線空間投影到約束流形上恢復恆等映射特性，結合基礎設施最佳化提升運行效率。實驗顯示mHC在擴展率𝑛=4時僅增加6.7%訓練時間開銷，能有效支持規模化訓練並保持穩定性，為拓撲架構設計提供新思路。

基本介紹

• 外文名：mHC
• 發布單位：DeepSeek

發展歷程

2026年1月1日訊息，DeepSeek發布了一篇新論文，提出了一種名為mHC（流形約束超連線）的新架構。該研究旨在解決傳統超連線在大規模模型訓練中的不穩定性問題，同時保持其顯著的性能增益。

功能作用

一種通用框架，能夠將HC的殘差連線空間投影到特定流形上，從而恢復恆等映射特性，並融合嚴格的基礎設施最佳化以確保運行效率。實證實驗表明，mHC能夠有效支持大規模訓練，在提供明顯性能提升的同時具備更優的可擴展性。DeepSeek預計，mHC作為HC的一種靈活而實用的拓展，將有助於深化對拓撲架構設計的理解，並為基座模型的演進指明富有前景的方向。內部大規模訓練結果顯示，mHC可有效支持規模化訓練，當擴展率𝑛=4時，僅帶來6.7%的額外時間開銷。與無約束的HC不同，mHC通過將連線矩陣投影到一個約束流形上，專注於最佳化殘差連線空間，從而確保訓練的穩定性。

殘差連線範式的示意圖