自動(dòng)編碼器是無(wú)監(jiān)視的神經(jīng)網(wǎng)絡(luò)模型，可以學(xué)習(xí)輸入數(shù)據(jù)的隱含特征。 這稱為編碼(coding )，可以利用同時(shí)學(xué)習(xí)到的新特征重構(gòu)原始輸入數(shù)據(jù)。 這被稱為解碼(decoding )。 從直觀上看，自動(dòng)編碼器可以用于特征降維，類似于主成分分析PCA，但性能比PCA高，是因?yàn)樯窠?jīng)網(wǎng)絡(luò)模型可以提取更有效的新特征。

編碼器：該部分可以將輸入壓縮為潛在的空間表示，可以用編碼函數(shù)h=f(x )表示。

解碼器：這個(gè)部分可以重構(gòu)來(lái)自潛在空間表示的輸入，可以用解碼器函數(shù)r=g(h )表示。

自編碼器結(jié)構(gòu)

因此，整個(gè)自編碼器可以用函數(shù)g(f ) x ) )=r進(jìn)行記述。 其中，輸出r接近原始輸入x。

目前，自編碼器的應(yīng)用主要有兩個(gè)方面，一是數(shù)據(jù)去噪，二是為可視化而降維。 通過(guò)設(shè)置適當(dāng)?shù)木S和稀疏約束，自編碼器可以學(xué)習(xí)比PCA等技術(shù)更有趣的數(shù)據(jù)投影。

編碼器可以根據(jù)數(shù)據(jù)樣本進(jìn)行無(wú)監(jiān)視的學(xué)習(xí)。 也就是說(shuō)，可以將該算法應(yīng)用于數(shù)據(jù)集，獲得良好的性能。 另外，不需要新的特征工程，只需要適當(dāng)訓(xùn)練數(shù)據(jù)。

但是，自編碼器在圖像壓縮方面做得不好。 由于在特定的數(shù)據(jù)集上訓(xùn)練自編碼器，因此處理與訓(xùn)練集相似的數(shù)據(jù)時(shí)會(huì)得到良好的壓縮結(jié)果，但壓縮其他差異較大的圖像時(shí)沒(méi)有效果。 這里，像JPEG這樣的壓縮技術(shù)在通用的圖像壓縮方面更優(yōu)越。

自動(dòng)編碼器是神經(jīng)網(wǎng)絡(luò)的一種，經(jīng)過(guò)訓(xùn)練后可以嘗試將輸入復(fù)制到輸出上。 換言之，就是使輸出的內(nèi)容和輸入的內(nèi)容相同。 自動(dòng)編碼器的內(nèi)部有隱式層h，可以生成編碼來(lái)表示輸入。 可認(rèn)為該網(wǎng)絡(luò)由一個(gè)編碼器h=f(x )和生成重構(gòu)的解碼器r=g ) h )兩部分組成。 最后使x等于約g(f ) x ) )。 網(wǎng)絡(luò)不能設(shè)計(jì)為x=g(f ) x ) )。 理論上可以，但通常不做。

自動(dòng)編碼器應(yīng)該被設(shè)計(jì)成不能學(xué)習(xí)完美的拷貝，通過(guò)施加一些限制，自動(dòng)編碼器只能進(jìn)行近似的拷貝。 由于它們可以學(xué)習(xí)數(shù)據(jù)的有用特性，因此自編碼器根據(jù)約束而具有不同的屬性。