In che modo una rete neurale profonda differisce dalle altre reti neurali?

In che modo una rete neurale che ha l'aggettivo "profondo" si distingue effettivamente da altre reti simili?

— kenorb
fonte

La differenza è principalmente nel numero di strati.

Per molto tempo, si riteneva che "1-2 livelli nascosti fossero sufficienti per la maggior parte dei compiti" ed era poco pratico usarne di più, poiché l'addestramento delle reti neurali può essere molto impegnativo dal punto di vista computazionale.

Al giorno d'oggi, i computer sono in grado di fare molto di più, quindi le persone hanno iniziato a utilizzare le reti con più livelli e hanno scoperto che funzionano molto bene per alcune attività.

La parola "profondo" è lì semplicemente per distinguere queste reti da quelle tradizionali, "più superficiali".

— Lurker disincantato
fonte

Se ho capito correttamente "deep learning", ci sono alcuni parametri (pesi) che sono legati insieme, riducendo così lo spazio dei parametri. NN normali non possono farlo.

— Raffaello,

@Raphael, re:, some parameters (weights) that are tied together, thus reducing the parameter spacevuoi dire reti neurali convoluzionali?

— publicgk,

@publicgk Questo è quello che ho visto, sì.

— Raffaello,

Ho sempre sentito che il "deep learning" è quando usi set di dati molto grandi. Questo è un errore e la dimensione dei dati non ha importanza - o le persone sono associate all'apprendimento profondo con enormi set di dati perché questo è ciò che è necessario per la formazione.

— Steven Sagona,

Vorrei sottolineare che questa "convinzione" che una rete neurale con solo 1 strato nascosto può calcolare qualsiasi funzione è stata effettivamente dimostrata (vedere ad esempio neuralnetworksanddeeplearning.com/chap4.html ). Penso che avresti dovuto spiegare un po 'di più perché più di 1 livello nascosto è quindi "conveniente".

— nbro,

Una rete neurale profonda è solo una rete neurale (feed-forward) con molti livelli.

Tuttavia, le reti di credenze profonde, le reti di Deep Boltzman, ecc., Non sono considerate reti neurali profonde (discutibili), poiché la loro topologia è diversa (hanno reti non dirette nella loro topologia).

Vedi anche questo: /stats//a/59854/84191 .

— Dawny33
fonte