A che punto iniziamo a classificare le reti neurali a più strati come reti neurali profonde o per dirlo in un altro modo "Qual è il numero minimo di strati in una rete neurale profonda?"
Risposte:
"Profondo" è un termine di marketing: è quindi possibile utilizzarlo ogni volta che è necessario commercializzare la propria rete neurale a più livelli.
"Deep"
Una delle prime reti neurali profonde ha tre strati nascosti densamente collegati ( Hinton et al. (2006) ).
"Very Deep"
Nel 2014 i netowrks VGG "molto profondi" Simonyan et al. (2014) sono costituiti da oltre 16 livelli nascosti.
"Estremamente profondo"
Nel 2016 le reti residue "estremamente profonde" He et al. (2016) sono costituiti da 50 fino a 1.000+ livelli nascosti.
Secondo la letteratura,
Schmidhuber, J. (2015). "Apprendimento profondo nelle reti neurali: una panoramica". Reti neurali. 61: 85–117. arXiv: 1404.7828possibile da leggere. doi: 10.1016 / j.neunet.2014.09.003.
https://en.wikipedia.org/wiki/Deep_learning
Si dice che
Non esiste un accordo universale sulla soglia di profondità che divide l'apprendimento superficiale dall'apprendimento profondo, ma la maggior parte dei ricercatori nel campo concorda sul fatto che l'apprendimento profondo ha più livelli non lineari (CAP> 2) e Schmidhuber considera la PAC> 10 un apprendimento molto profondo
Una catena di trasformazioni da input a output è un percorso di assegnazione del credito o CAP. Per una rete neurale feedforward, la profondità delle CAP, e quindi la profondità della rete, è il numero di strati nascosti più uno.