Gli autoencoder possono essere utilizzati per l'apprendimento supervisionato?

Gli autoencoder possono essere utilizzati per l'apprendimento supervisionato senza aggiungere un livello di output ? Possiamo semplicemente alimentarlo con un vettore di input-output concatenato per l'addestramento e ricostruire la parte di output dalla parte di input quando facciamo l'inferenza? La parte di output verrebbe trattata come valori mancanti durante l'inferenza e verrebbe applicata una certa imputazione.

Uno di questi documenti che conosco e che ho implementato è l' apprendimento semi-supervisionato che utilizza le reti ladder . Cito qui la loro descrizione del modello:

Il nostro approccio segue Valpola (2015), che ha proposto una rete Ladder in cui il compito ausiliario è quello di denunciare le rappresentazioni ad ogni livello del modello. La struttura del modello è un auto-codificatore con salta le connessioni dall'encoder al decodificatore e il compito di apprendimento è simile a quello del denoising degli auto-codificatori ma applicato a tutti i livelli, non solo agli input. Le connessioni skip allevia la pressione per rappresentare i dettagli negli strati superiori del modello perché, tramite le connessioni skip, il decodificatore può recuperare tutti i dettagli scartati dall'encoder.

Per ulteriori spiegazioni sull'architettura, consultare Deconstructing the Ladder Network Architecture di Yoshua Bengio.

Ricordo di aver letto articoli su tali sistemi, se ti capisco correttamente, ma al momento non riesco a ricordare i titoli.

L'idea era di usare RNN generativi basati sui caratteri, addestrarli su sequenze codificate come "datadatadatadata | answer", e quindi quando si alimentava in "otherdatadata |" quindi continuerebbe a generare una sorta di risposta prevista.

Ma, per quanto ricordo, questa era solo un'illustrazione chiara poiché se avessi i dati per fare qualcosa sotto supervisione, otterrai risultati migliori con metodi convenzionali.