自編碼器（autoencoder, AE）作為一類包含編碼器（encoder）和解碼器（decoder）的人工神經網路結構，最早由David H. Ackley、Geoffrey E. Hinton和Terrence J. Sejnowski於1985年在玻爾茲曼機上的研究中進行初步探索，並於1987年由Yann LeCun正式提出。其通過將輸入信息作為學習目標實現表征學習（representation learning），按學習範式可分為收縮自編碼器、正則自編碼器和變分自編碼器（Variational AutoEncoder, VAE），其中前兩者為判別模型，後者為生成模型。該結構被廣泛套用於降維、異常值檢測、圖像降噪及神經風格遷移等領域。
自編碼器的發展始於1985年基於玻爾茲曼機的聯結主義模型研究，1986年反向傳播算法的提出推動了自監督反向傳播的實現。1987年LeCun使用多層感知機構建包含編解碼器的神經網路結構，同年該結構被套用於語音數據表征學習。1988年Bourlard和Kamp通過MLP自編碼器開展數據降維研究。1994年Hinton與Richard S. Zemel基於最小描述長度原理構建了首個生成模型自編碼器。隨著深度學習技術的發展，包含卷積層的自編碼器在計算機視覺領域得到深度套用。2025年，預訓練變分自編碼器（VAE）被套用於跨任務知識繼承策略，例如InfinityStar框架中將其作為基礎模型，通過特徵復用機制加速視頻生成任務的學習過程。2026年，耶魯大學等研究團隊提出的ImmunoStruct方法將變分自編碼器套用於免疫原性預測的多模態建模中。
基本介紹
- 中文名：自編碼器
- 外文名：autoencoder, AE
- 類型：機器學習算法，神經網路算法
- 提出者：Yann LeCun
- 提出時間：1987年
- 學科：人工智慧
- 套用：降維，降噪，異常值檢測
發展歷史,算法,
發展歷史
自編碼器在其研究早期是為解決表征學習中的“編碼器問題（encoder problem）”，即基於神經網路的降維問題而提出的聯結主義模型的學習算法。1985年，David H. Ackley、Geoffrey E. Hinton和Terrence J. Sejnowski在玻爾茲曼機上對自編碼器算法進行了首次嘗試，並通過模型權重對其表征學習能力進行了討論。在1986年反向傳播算法（Back-Propagation, BP）被正式提出後，自編碼器算法作為BP的實現之一，即“自監督的反向傳播（Self-supervised BP）”得到了研究，並在1987年被Jeffrey L. Elman和David Zipser用於語音數據的表征學習試驗。自編碼器作為一類神經網路結構（包含編碼器和解碼器兩部分）的正式提出，來自1987年Yann LeCun發表的研究。LeCun (1987)使用多層感知器（Multi-Layer Perceptron,MLP）構建了包含編碼器和解碼器的神經網路，並將其用於數據降噪。此外，在同一時期，Bourlard and Kamp (1988)使用MLP自編碼器對數據降維進行的研究也得到了關注。1994年，Hinton和Richard S. Zemel通過提出“最小描述長度原理（Minimum Description Length principle, MDL）”構建了第一個基於自編碼器的生成模型。2025年，位元組跳動推出的InfinityStar框架通過知識繼承策略使用預訓練變分自編碼器作為基礎模組，降低了視頻生成模型的訓練時間和計算資源消耗。
2026年，耶魯大學與霍華德·休斯醫學研究所的研究團隊在ImmunoStruct模型中使用了變分自編碼器學習緊湊而連續的序列表示，該模型將免疫原性預測拓展為多模態建模，整合序列、三維結構和生化屬性，顯著提升預測性能並增強可解釋性，為疫苗設計和免疫治療提供新思路。
