mHC架構，全稱流形約束超連線架構，是由人工智慧公司DeepSeek於2026年1月1日通過發布學術論文正式提出的一種神經網路新架構。該架構旨在解決超連線網路（HC）技術因破壞恆等映射特性，導致訓練不穩定和可擴展性受限等問題，改善了模型擴容中存在的一個關鍵技術瓶頸。其核心方法是將HC殘差連線空間映射至特定流形以恢復恆等映射特性，將信號增益控制在約1.6倍，並結合基礎設施最佳化以確保效率。根據其論文所述，該架構在參數規模測試中取得了性能提升，在3B、9B、27B參數規模的模型測試中，套用mHC架構的模型在BIG-BenchHard推理基準上性能提升了2.1%。
相關論文由Zhenda Xie、Yixuan Wei、Huanqi Cao共同擔任第一作者，梁文鋒也在作者名單中。2026年1月13日，DeepSeek在GitHub開源了名為Engram的條件存儲模組，兩篇論文體現了DeepSeek通過架構創新打破算力成本約束的方向。
基本介紹
- 作者：Zhenda Xie
Yixuan Wei
Huanqi Cao
梁文鋒 - 全稱：流形約束超連線架構
- 提出方式：發布學術論文
- 提出時間：2026年1月1日
- 提出者：DeepSeek
影響與前景,背景與提出,主要特性,相關研究,
影響與前景
mHC架構作為超連線網路（HC）的拓展，可能對拓撲架構設計的理解和基座模型演進產生影響。mHC架構論文於2026年1月1日發布。mHC的驗證表明，這有助於提升大規模多模態模型的訓練穩定性。未來的V4模型可能結合MoE技術、Engram記憶機制，並由mHC架構提供底層支持。V4模型預計於2026年2月發布，其mHC訓練架構將與Engram模組配合，形成一種技術路線。
背景與提出
傳統超連線網路(HC)技術因破壞恆等映射特性，導致訓練不穩定和可擴展性受限，隨著模型越來越大，傳統的殘差連線開始失效，訓練容易崩潰。2026年1月1日，DeepSeek發布新論文正式提出了流形約束超連線（mHC）架構。
mHC架構將HC殘差連線空間映射至特定流形以恢復恆等映射特性，並結合基礎設施最佳化確保效率。該架構旨在解決傳統超連線架構在模型規模擴大時面臨的信號增益問題，將信號增益控制在約1.6倍。DeepSeek團隊還為mHC架構開發了一系列基礎設施最佳化，包括使用TileLang框架實現融合核心、最佳化Sinkhorn-Knopp算法核心、擴展DualPipe調度策略等。該架構實現了性能改進和可擴展性提升。在3B、9B、27B參數規模的模型測試中，套用mHC架構的模型在BIG-BenchHard推理基準上性能提升了2.1%。實驗表明，在27B參數的混合專家模型上，mHC展現出穩定的訓練曲線，最終損失相比基線有降低。論文由Zhenda Xie(解振達)、Yixuan Wei(韋毅軒)、Huanqi Cao共同擔任第一作者，梁文鋒也在作者名單中。
主要特性
mHC架構通過將超連線網路(HC)的殘差連線空間映射至特定流形以恢復恆等映射特性，並結合基礎設施最佳化確保效率。具體而言，通過一系列基礎設施最佳化，如融合核心以減少記憶體訪問次數、最佳化算法以避免存儲開銷、以及改進調度策略以實現計算與通信的重疊，從而在保持性能優勢的同時減少額外開銷。實驗表明，在27B參數的模型上，mHC訓練損失比基線降低，推理能力提升2.1%。該架構實現了性能改進和可擴展性，被視為超連線網路(HC)的一種適應性較強的拓展。
