韋毅軒,DeepSeek研究團隊成員。
基本介紹
- 中文名:韋毅軒
- 就職企業:DeepSeek
韋毅軒,DeepSeek研究團隊成員。
韋毅軒,DeepSeek研究團隊成員。人物經歷2026年1月1日訊息,DeepSeek發布了一篇新論文,提出了一種名為mHC(流形約束超連線)的新架構。該研究旨在解決傳統超連線在大規模模型訓練中的不穩定性問題,同時保持其...
韋毅軒,DeepSeek研究團隊成員。人物經歷 2026年1月1日訊息,DeepSeek發布了一篇新論文,提出了一種名為mHC(流形約束超連線)的新架構。該研究旨在解決傳統超連線在大規模模型訓練中的不穩定性問題,同時保持其顯著的性能增益。這篇論文的第一作者有三位:Zhenda Xie(解振達)、Yixuan Wei(韋毅軒)、Huanqi Cao。此外,DeepSeek創始人梁文鋒也在作者名單中。
論文由Zhenda Xie(解振達)、Yixuan Wei(韋毅軒)、Huanqi Cao共同擔任第一作者,梁文鋒也在作者名單中。主要特性 mHC架構通過將超連線網路(HC)的殘差連線空間映射至特定流形以恢復恆等映射特性,並結合基礎設施最佳化確保效率。具體而言,通過一系列基礎設施最佳化,如融合核心以減少記憶體訪問次數、最佳化算法以避免存儲開銷、以及...
mHC(流形約束超連線)是DeepSeek於2026年1月1日發布的一種改進型神經網路架構,相關論文標題為《mHC: Manifold-Constrained Hyper-Connections》。該架構由解振達(Zhenda Xie)、韋毅軒(Yixuan Wei)和Huanqi Cao等人提出,DeepSeek創始人兼CEO梁文鋒亦在作者名單中,旨在解決超連線(HC)在大規模模型訓練中因破壞...
2026年1月1日訊息,DeepSeek發布了一篇新論文,提出了一種名為mHC(流形約束超連線)的新架構。該研究旨在解決傳統超連線在大規模模型訓練中的不穩定性問題,同時保持其顯著的性能增益。這篇論文的第一作者有三位:Zhenda Xie(解振達)、Yixuan Wei(韋毅軒)、Huanqi Cao。此外,DeepSeek創始人梁文鋒也在作者名單...
