Differenza: Replicator Neural Network vs. Autoencoder

Attualmente sto studiando articoli sul rilevamento anomalo utilizzando RNN (Replicator Neural Networks) e mi chiedo quale sia la differenza particolare rispetto agli Autoencoder? RNN sembra essere considerato da molti come il santo graal della rilevazione di anomalie / anomalie, tuttavia l'idea sembra essere piuttosto vecchia, dato che gli autoencoders sono lì da molto tempo.

Entrambi i tipi di reti provano a ricostruire l'input dopo averlo alimentato attraverso un qualche tipo di meccanismo di compressione / decompressione. Per il rilevamento anomalo viene misurato l'errore di ricostruzione tra input e output - si prevede che gli outlier abbiano un errore di ricostruzione più elevato.

La differenza principale sembra essere il modo in cui l'input è compresso:

Gli autoencoders semplici comprimono l'input attraverso un livello nascosto che ha meno neuroni rispetto ai livelli input / output .. in questo modo la rete deve apprendere una rappresentazione compressa dei dati.

Le reti neurali del replicatore comprimono i dati attraverso un livello nascosto che utilizza una funzione di attivazione a scala. La funzione di attivazione a scala consente alla rete di comprimere i dati assegnandoli a un determinato numero di cluster (a seconda del numero di neuroni e del numero di passaggi).

Dalle reti neurali del replicatore per la modellazione anomala nel riconoscimento vocale vocale :

Gli RNN sono stati originariamente introdotti nel campo della compressione dei dati [5]. Hawkins et al. lo ha proposto per la modellazione anomala [4]. In entrambe le carte si consiglia una struttura a 5 strati, con uno strato di uscita lineare e una speciale funzione di attivazione a scala nello strato intermedio (vedi Fig. 2). Il ruolo di questa funzione di attivazione è quantizzare il vettore delle uscite del livello nascosto centrale in punti della griglia e quindi organizzare i punti dati in un numero di cluster.