Ho l'impressione che quando le persone si riferiscono a una rete di "convinzioni profonde" si tratti sostanzialmente di una rete neurale ma di dimensioni molto grandi. È corretto o una rete di credenze profonde implica anche che l'algoritmo stesso è diverso (ovvero, nessuna rete neurale feed forward ma forse qualcosa con loop di feedback)?
Risposte:
"Reti neurali" è un termine generalmente utilizzato per indicare le reti neurali feedforward. Le reti neurali profonde sono reti neurali feedforward con molti livelli.
Una rete di credenze profonde non è la stessa di una rete neurale profonda.
Come hai sottolineato, una rete di credenze profonde ha connessioni non dirette tra alcuni livelli. Ciò significa che la topologia di DNN e DBN è diversa per definizione.
I layer non indirizzati nel DBN sono chiamati Restricted Boltzmann Machines. Questi livelli possono essere addestrati utilizzando un algoritmo di apprendimento non supervisionato (Contrastive Divergence) che è molto veloce (ecco un link ! Con i dettagli).
Alcuni altri commenti:
Le soluzioni ottenute con reti neurali più profonde corrispondono a soluzioni con prestazioni peggiori rispetto alle soluzioni ottenute per reti con 1 o 2 strati nascosti. Man mano che l'architettura si approfondisce, diventa più difficile ottenere una buona generalizzazione usando un Deep NN.
Nel 2006 Hinton ha scoperto che si potevano ottenere risultati molto migliori in architetture più profonde quando ogni strato (RBM) è pre-addestrato con un algoritmo di apprendimento non supervisionato (Contrastive Divergence). Quindi la rete può essere allenata in modo controllato usando la backpropagation al fine di "mettere a punto" i pesi.
" Una rete neurale profonda è una rete neurale artificiale feed-forward che ha più di uno strato di unità nascoste tra i suoi ingressi e le sue uscite. Ogni unità nascosta, , in genere utilizza la funzione logistica per mappare il suo input totale dallo strato sottostante , , allo stato scalare, che invia al livello sopra. (Ref. (1)) ".
Detto questo, come menzionato da David: " le reti di credenze profonde hanno connessioni non dirette tra i due livelli superiori, come in un RBM ", che è in contrasto con le reti neurali feed-forward standard. In generale, il problema principale in un DNN riguarda la formazione di esso che è sicuramente più coinvolta di un singolo strato NN. (Non sto lavorando su NNs è appena successo, ho letto il giornale di recente.)
Riferimento: 1. Reti neurali profonde per la modellazione acustica nel riconoscimento vocale , di Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-Rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath ,, e Brian Kingsbury sulla rivista IEEE Signal Processing [82], novembre 2012 ( Link al documento originale in MSR )
Sono contento di vedere i commenti di Alex qui. Ho spiegato alla gente che DL è una tipica rete neurale. Non c'è differenza nello schema di apprendimento. Una precedente ANN scritta in c (70s) ha un'opzione per impostare più livelli nascosti. In realtà ho testato per determinare se più livelli nascosti migliorano la precisione. Il numero di livelli non rende DL diverso da ANN.
Odio questo tipo di termini di marketing. Ora abbiamo così tanti esperti di DL che non sanno che DL è in realtà ANN. Poiché il marketing è così buono e forte, le persone credono che abbiamo progredito molto nell'area dell'apprendimento automatico. Ma niente è nuovo!