Qual è l'origine delle reti neurali dell'autoencoder?

Ho cercato su Google, Wikipedia, Google studioso e altro, ma non sono riuscito a trovare l'origine degli Autoencoder. Forse è uno di quei concetti che si sono evoluti molto gradualmente ed è impossibile risalire a un chiaro punto di partenza, ma vorrei comunque trovare una sorta di riassunto delle fasi principali del loro sviluppo.

Il capitolo sugli autoencoders in Ian Goodfellow, Yoshua Bengio e il libro Deep Learning di Aaron Courville dice:

L'idea di autoencoders fa parte del panorama storico delle reti neurali per decenni (LeCun, 1987; Bourlard e Kamp, 1988; Hinton e Zemel, 1994). Tradizionalmente, i codificatori automatici sono stati utilizzati per la riduzione della dimensionalità o l'apprendimento delle funzionalità.

Questa presentazione di Pascal Vincent dice:

Il denigrare usando i codificatori automatici classici è stato introdotto molto prima (LeCun, 1987; Gallinari et al., 1987), in alternativa alle reti Hopfield (Hopfield, 1982).

Ciò sembra implicare che prima esistessero "autoencoders classici": LeCun e Gallinari li usavano ma non li inventarono. Non vedo traccia di "autoencoders classici" prima del 1987.

Qualche idea?

Secondo la storia fornita in Schmidhuber, " Apprendimento profondo nelle reti neurali: una panoramica ", Neural Networks (2015), gli auto-codificatori sono stati proposti come metodo di pre-addestramento senza supervisione a Ballard, "Apprendimento modulare nelle reti neurali", Atti AAAI (1987). Non è chiaro se è la prima volta che vengono utilizzati gli encoder automatici; è solo la prima volta che vengono utilizzati ai fini della pre-formazione delle ANN .

Come chiarisce l'introduzione dell'articolo di Schmidhuber, è in qualche modo difficile attribuire tutte le idee utilizzate nelle ANN perché la letteratura è diversa e la terminologia si è evoluta nel tempo.

L'articolo che segue parla indirettamente dell'autoencoder e risale al 1986. (che è un anno prima di quello di Ballard nel 1987)

DE Rumelhart, GE Hinton e RJ Williams, "Apprendimento delle rappresentazioni interne mediante propagazione degli errori". , Elaborazione distribuita parallela. Vol 1: Fondamenti. MIT Press, Cambridge, MA, 1986.

L'articolo descrive sostanzialmente un nuovo tipo di rete feedforward a quel tempo e il suo formalismo matematico.