自編碼器

自編碼器

自編碼器(autoencoder, AE)是一類在半監督學習和非監督學習中使用的人工神經網路(Artificial Neural Networks, ANNs),其功能是通過將輸入信息作為學習目標,對輸入信息進行表征學習(representation learning)。

自編碼器包含編碼器(encoder)和解碼器(decoder)兩部分。按學習範式,自編碼器可以被分為收縮自編碼器(undercomplete autoencoder)、正則自編碼器(regularized autoencoder)和變分自編碼器(Variational AutoEncoder, VAE),其中前兩者是判別模型、後者是生成模型。按構築類型,自編碼器可以是前饋結構或遞歸結構的神經網路。

自編碼器具有一般意義上表征學習算法的功能,被套用於降維(dimensionality reduction)和異常值檢測(anomaly detection)。包含卷積層構築的自編碼器可被套用於計算機視覺問題,包括圖像降噪(image denoising)、神經風格遷移(neural style transfer)等。

基本介紹

  • 中文名:自編碼器
  • 外文名:autoencoder, AE
  • 類型:機器學習算法,神經網路算法
  • 提出者:Yann LeCun 
  • 提出時間:1987年 
  • 學科:人工智慧
  • 套用:降維,降噪,異常值檢測
歷史,算法,

歷史

自編碼器在其研究早期是為解決表征學習中的“編碼器問題(encoder problem)”,即基於神經網路的降維問題而提出的聯結主義模型的學習算法。1985年,David H. Ackley、Geoffrey E. Hinton和Terrence J. Sejnowski在玻爾茲曼機上對自編碼器算法進行了首次嘗試,並通過模型權重對其表征學習能力進行了討論。在1986年反向傳播算法(Back-Propagation, BP)被正式提出後,自編碼器算法作為BP的實現之一,即“自監督的反向傳播(Self-supervised BP)”得到了研究,並在1987年被Jeffrey L. Elman和David Zipser用於語音數據的表征學習試驗。自編碼器作為一類神經網路結構(包含編碼器和解碼器兩部分)的正式提出,來自1987年Yann LeCun發表的研究。LeCun (1987)使用多層感知器(Multi-Layer Perceptron, MLP)構建了包含編碼器和解碼器的神經網路,並將其用於數據降噪。此外,在同一時期,Bourlard and Kamp (1988)使用MLP自編碼器對數據降維進行的研究也得到了關注。1994年,Hinton和Richard S. Zemel通過提出“最小描述長度原理(Minimum Description Length principle, MDL)”構建了第一個基於自編碼器的生成模型

算法

自編碼器是一個輸入和學習目標相同的神經網路,其結構分為編碼器和解碼器兩部分。給定輸入空間
和特徵空間
,自編碼器求解兩者的映射
使輸入特徵的重建誤差達成最小:
求解完成後,由編碼器輸出的隱含層特徵
,即“編碼特徵(encoded feature)”可視為輸入數據
的表征。按自編碼器的不同,其編碼特徵可以是輸入數據的壓縮(收縮自編碼器)、稀疏化(稀疏自編碼器)或隱變數模型(變分自編碼器)等。

相關詞條

熱門詞條

聯絡我們