Transformer模型架構是一種深度學習模型，由谷歌大腦團隊Ashish Vaswani等人於2017年在論文《Attention is All You Need》中提出。該架構採用自注意力機制替代循環神經網路和卷積神經網路，由編碼器和解碼器組成。編碼器通過多層自注意力機制提取特徵，解碼器關聯輸入與目標序列，並引入位置編碼補充序列位置信息。該架構的統一框架推動了模型設計和底層晶片技術的發展。
Transformer架構的提出被認為是該領域的分水嶺，現在廣泛用於訓練大語言模型（LLM）等套用。其套用由自然語言處理擴展至計算機視覺、智慧型駕駛以及多模態生理信號處理等多個領域。有晶片集群支持訓練萬億參數多模態模型，在智慧型體（Agent）中的套用也取得進展。但該架構在處理物理世界因果推理時，仍依賴統計相關性而非深度邏輯抽象，這限制了其在需要精確物理建模場景中的套用。史丹福大學教授李飛飛在2025年11月的訪談中指出，現有Transformer架構在物理因果推理層面存在結構性局限。
2020年，其套用由自然語言處理擴展至計算機視覺領域。2025年，湧現出以Titans、MIRAS、Nemotron 3等為代表的新架構與技術，並催生了NEO、HOPE等新範式。其中，商湯科技與南洋理工大學聯合發布了全球首個開源原生多模態架構NEO，谷歌在NeurIPS大會上發布了Titans架構及MIRAS框架，英偉達發布了採用混合Mamba-Transformer-MoE架構的Nemotron 3開源模型家族，谷歌還提出了嵌套學習範式並構建了HOPE架構。2026年，DeepSeek提出了對Transformer底層組件進行改進的mHC（流形約束超連線）架構，旨在解決Hyper-Connections架構引入的訓練不穩定問題，其核心創新是將連線權重矩陣約束在雙隨機矩陣空間。
基本介紹
- 中文名：Transformer模型架構
- 外文名：Transformer Model
- 所屬學科：人工智慧
- 發布單位：Google Brain
技術局限性及未來展望,終端化架構革新,下一代架構突破,Scaling Law（規模定律）的討論,發展歷程,模型組成,殘差連線的演進,套用,產品特點,
技術局限性及未來展望
終端化架構革新
2025年12月，商湯科技與南洋理工大學聯合發布全球首個開源原生多模態架構NEO。該架構採用Native Patch Embedding、三維旋轉位置編碼(Native-RoPE)和原生多頭注意力的核心技術，使2B/8B參數規模的中小模型在MMMU等多項評測中達到旗艦模型精度，同時將端側推理成本降低至同類模型的1/5。通過開源策略，NEO首次實現了多模態能力在移動終端和工業邊緣設備的規模化落地，為AR/VR眼鏡、智慧型汽車等終端場景提供了高性價比的視覺理解解決方案。
下一代架構突破
2025年12月，在史丹福大學工程學院百年慶典上，谷歌聯合創始人謝爾蓋・布林指出，新架構和新訓練方法比單純擴展算力和數據更重要。他引用N-body問題歷史案例，強調算法改進幅度可超越算力增長。
2025年12月，谷歌在NeurIPS大會上發布Titans架構與MIRAS理論框架的協同解決方案，包含基於多層感知機的神經長期記憶模組，通過引入「驚奇度」指標實現自適應記憶管理，在200萬token長上下文處理中保持高召回率。
該體系通過動態參數更新機制實現運行時知識整合，結合MIRAS框架的四個設計維度（記憶架構/注意偏置/保留門/記憶算法），使模型獲得持續學習能力。
根據BABILong基準測試結果，參數量更少的Titans架構在超長文檔推理任務中準確率超越GPT-4，其線性推理速度相較傳統Transformer提升3倍以上。
該架構已被證實可有效整合進多模態系統，谷歌DeepMind團隊預測其可能成為實現AGI的關鍵構件，預計將套用於下一代Gemini系列產品。
與此同時，谷歌於2025年12月發布題為《嵌套學習：深度學習架構的幻象》的論文，提出嵌套學習範式，強調智慧型學習需要深度和頻率兩個正交維度。該研究將最佳化器重新審視為關聯記憶系統，存儲梯度歷史，並基於此構建HOPE架構，實現連續記憶光譜，包含不同頻率的MLP模組以解決持續學習問題，新知識可漸進消化。該範式被視為可能引發AI範式轉移，為學習過程構建統一模型。
與此同時，英偉達於2025年12月發布Nemotron 3開源模型家族，採用混合Mamba-Transformer-MoE架構，旨在解決Transformer在處理長序列時記憶體消耗隨序列長度平方級增長的問題。其中，Nemotron 3 Nano實現100萬token上下文視窗和4倍推理速度提升，通過融合狀態空間模型（Mamba）和混合專家模型（MoE）技術，為邊緣計算和智慧型體任務提供高效解決方案。
在NeurIPS 2025的爐邊談話中，谷歌首席科學家Jeff Dean展望了未來方向，包括擴展注意力機制觸達範圍從百萬token到數萬億token，實現模型直接訪問所有科學論文和視頻數據；他指出當前模型缺乏持續學習能力，訓練後固定不變，未來需探索動態、腦啟發的架構；同時強調硬體創新需求，如更節能、性價比高的推理晶片。同時，AI教父Geoffrey Hinton預測大模型能壓縮巨量知識，發現人類未見的共通性，具備創造力，例如連線希臘文學與量子力學的類比。
2026年1月2日，DeepSeek在arXiv上發布論文《mHC: Manifold-Constrained Hyper-Connections》，提出了名為mHC（流形約束超連線）的巨觀架構創新，是對Transformer最底層組件殘差連線的重要改進，旨在解決Hyper-Connections架構引入的訓練不穩定問題。其核心創新是將連線權重矩陣約束在雙隨機矩陣空間，利用Sinkhorn-Knopp算法實現可微分的約束，實驗顯示在7B規模模型上無Loss尖峰，MoE模型收斂速度提升約1.8倍。
Scaling Law（規模定律）的討論
2025年12月，摩爾執行緒天使投資人王捷在觀察中提出Transformer架構的Scaling Law（規模定律）在何處收斂的問題。Scaling Law啟動了當前AI大模型發展的大浪潮，並作為AI大模型行業發展的基石，其收斂條件與時間點受到關注。
發展歷程
Transformer模型最早是在2017年由谷歌大腦團隊Ashish Vaswani發表的一篇名為"Attention is All You Need"的論文中描述的。根據2025年12月NeurIPS訪談中Jeff Dean的回憶，Transformer的靈感來源於Ilya Sutskever、Oriol Vinyals和Quoc Le的序列到序列工作，通過注意力機制解決了LSTM的順序依賴和狀態壓縮問題。谷歌內部當時對該架構的潛力評估不足，算力投入有限，且因擔心聊天機器人表現不佳而推遲了相關產品發布。Jeff Dean在訪談中表示，谷歌不後悔發表Transformer論文；同時，Hinton坦言最初未重視該架構，但後來認可其效率。2025年12月，谷歌聯合創始人謝爾蓋・布林在史丹福大學工程學院百年慶典對談中指出，在2017年發布Transformer論文後，公司未能充分重視其潛力，導致投資不足和計算規模未擴展，同時因擔心聊天機器人可能生成不恰當內容而推遲產品發布。這導致OpenAI在2022年推出ChatGPT。2022年底，谷歌聯合創始人謝爾蓋·布林回歸公司，參與Gemini的研發。這篇論文的發布被認為是該領域的一個關鍵節點，Transformer架構後來被廣泛用於訓練大語言模型等套用。隨著Transformer架構的廣泛套用，其統一輸入輸出的Token處理範式影響了晶片設計對Token處理效率的最佳化。但該架構在處理物理世界因果推理時，仍依賴統計相關性而非深度邏輯抽象，這限制了其在需要精確物理建模場景中的套用。
2025年11月，史丹福大學教授李飛飛在公開訪談中提出，現有Transformer架構在物理因果推理層面存在結構性局限。其團隊認為深度學習架構的突破可能在未來五年內出現。隨後，Google發布論文《Nested Learning: The Illusion of Deep Learning Architectures》，提出HOPE框架，該論文被類比為‘Attention is All You Need’的後續版本。2025年12月6日，商湯科技與南洋理工大學聯合團隊發布開源原生多模態架構NEO，其通過統一視覺語言處理層實現原生多模態建模，使用3.9億圖像文本對進行訓練。2025年12月7日，谷歌在NeurIPS 2025大會上發布Titans架構及MIRAS框架，該架構融合了RNN與Transformer的特性，在BABILong基準測試中以200萬token上下文視窗取得領先的性能指標。根據谷歌官方技術報告，該架構通過動態記憶更新機制實現了運行時參數疊代更新。
2026年1月，DeepSeek團隊在arXiv上發布論文《mHC: Manifold-Constrained Hyper-Connections》，提出了名為mHC（流形約束超連線）的新架構。該架構是對Transformer底層組件殘差連線的一種改進，旨在解決傳統超連線在大規模模型訓練中可能導致的數值不穩定問題。其核心創新是將連線權重矩陣約束在雙隨機矩陣空間，利用Sinkhorn-Knopp算法實現可微分的約束。
模型組成
Transformer模型架構
殘差連線的演進
初始的ResNet式殘差連線在深度模型訓練中，因信息逐層累積可能導致信號噪音過大，引發訓練不穩定甚至崩潰。演進階段的超連線通過將單一殘差流擴展為多條並行路徑來提升性能，但擴大模型容量時更容易出現梯度爆炸和不穩定，且顯存消耗增加。
2026年，DeepSeek提出的流形約束超連線將傳統Transformer的單一殘差流擴展為多流並行架構。其利用Sinkhorn-Knopp算法將連線矩陣約束在雙隨機矩陣（Birkhoff多胞形）流形上，使信號傳播變為特徵的凸組合，從數學上嚴格保證了信號範數的穩定性，從根本上解決了HC的不穩定問題。
為高效落地，DeepSeek團隊進行了底層最佳化，包括使用運算元融合技術編寫定製CUDA核心、採用選擇性重計算策略以及提出DualPipe並行策略來重疊計算與通信，從而在保持性能提升的同時控制了顯存開銷和訓練周期。mHC在保留加寬殘差流性能優勢的同時，顯著提升了大規模模型訓練的穩定性、可擴展性和效率。
套用
Transformer架構的統一框架推動了模型設計和底層晶片技術的發展。有研究機構提出了支持在工業邊緣設備部署的原生多模態架構，其開源特性對多模態模型的開發有推動作用。有晶片集群支持訓練萬億參數多模態模型，並在金融和能源等行業套用。有研究強調了硬體與模型協同設計對研發效率的影響。該架構的輕量化版本（2B-9B參數）在機器人操作控制領域已進入初步商業化套用階段。
基於Transformer架構的框架被套用於多模態生理信號處理，如心血管監測，實現信號去噪、插補與跨模態生成。
在智慧型駕駛領域，有城區導航輔助駕駛解決方案採用Transformer算法架構，結合動態與靜態融合的BEV技術，以降低對高精地圖的依賴為目標。
英偉達發布的DLSS 4.5超解析度技術採用了第二代Transformer超級解析度模型。基於該技術的測試顯示，在某些場景下其渲染表現存在最佳化空間。
與上述依賴專用硬體的最佳化不同，有技術通過結構化注意力掩碼將輸入分為功能分區，使單個模型同時執行驗證和起草任務。
