In CNN, impareremo i filtri per produrre una mappa delle caratteristiche nel livello convoluzionale.
In Autoencoder, ciascuna singola unità nascosta di livello può essere considerata come filtro.
Qual è la differenza tra i filtri appresi in queste due reti?
Risposte:
Nel caso di filtri CNN vengono applicati a piccole patch di un'immagine in ogni posizione possibile (il che le rende anche invarianti per la traduzione).
I livelli nascosti di Autoencoder ottengono l' intera immagine (output del livello precedente) come input, che non sembra una buona idea per le immagini: di solito solo le funzioni spazialmente locali sono correlate, mentre quelle più distanti sono meno correlate. Inoltre, questi neuroni nascosti non sono invarianti nella traduzione.
Pertanto, le CNN sono come le normali RNA con un tipo speciale di regolarizzazione, che azzera la maggior parte dei pesi per utilizzare la località.