Quanto è vera questa diapositiva sull'apprendimento profondo che afferma che tutti i miglioramenti degli anni '80 sono dovuti solo a molti più dati e computer molto più veloci?

Stavo ascoltando un discorso e ho visto questa diapositiva:

Quanto è vero?

Stavo sfogliando AI StackExchange e mi sono imbattuto in una domanda molto simile: cosa distingue il "Deep Learning" dalle altre reti neurali?

Poiché lo StackExchange di AI chiuderà domani (di nuovo), copierò qui le due risposte principali (contributi degli utenti concessi in licenza in cc by-sa 3.0 con attribuzione obbligatoria):

Autore: mommi84less

Due articoli ben citati del 2006 hanno riportato l'interesse della ricerca all'apprendimento profondo. In "Un algoritmo di apprendimento rapido per reti di credenze profonde" , gli autori definiscono una rete di credenze profonde come:

[...] reti di credenze densamente connesse che hanno molti strati nascosti.

Troviamo quasi la stessa descrizione per le reti profonde in " Greedy Layer-Wise Training of Deep Networks" :

Le reti neurali multistrato profonde presentano molti livelli di non linearità [...]

Quindi, nel documento di indagine "Apprendimento della rappresentazione: una revisione e nuove prospettive" , l'apprendimento profondo viene utilizzato per comprendere tutte le tecniche (vedi anche questo discorso ) ed è definito come:

[...] costruzione di più livelli di rappresentazione o apprendimento di una gerarchia di funzionalità.

L'aggettivo "profondo" è stato quindi utilizzato dagli autori sopra per evidenziare l' uso di più livelli nascosti non lineari .

Autore: lejlot

Solo per aggiungere alla risposta @ mommi84.

L'apprendimento profondo non si limita alle reti neurali. Questo è un concetto più ampio rispetto ai soli DBN di Hinton ecc. L'apprendimento profondo riguarda il

costruire più livelli di rappresentazione o apprendere una gerarchia di funzionalità.

Quindi è un nome per gli algoritmi di apprendimento della rappresentazione gerarchica . Esistono modelli profondi basati su modelli nascosti di Markov, campi casuali condizionali, macchine vettoriali di supporto, ecc. L'unica cosa comune è che invece di (popolare negli anni '90) ingegneria delle caratteristiche , in cui i ricercatori stavano cercando di creare una serie di caratteristiche, che è il meglio per risolvere alcuni problemi di classificazione: queste macchine possono elaborare la propria rappresentazione dai dati grezzi. In particolare - applicati al riconoscimento delle immagini (immagini grezze) producono una rappresentazione multilivello costituita da pixel, quindi linee, quindi tratti del volto (se stiamo lavorando con i volti) come il naso, gli occhi e infine i volti generalizzati. Se applicati all'elaborazione del linguaggio naturale, costruiscono un modello di linguaggio che collega le parole in blocchi, blocchi in frasi, ecc.

Un'altra diapositiva interessante:

fonte

Si dice che il dropout, da Hinton nel 2006, sia il più grande miglioramento dell'apprendimento profondo degli ultimi 10 anni, perché riduce molto il sovradimensionamento.

Questa è certamente una domanda che provocherà polemiche.

Quando le reti neurali vengono utilizzate nell'apprendimento profondo, in genere vengono addestrate in modi che non erano stati utilizzati negli anni '80. In particolare, si afferma che le strategie che preprimono i singoli livelli della rete neurale per riconoscere caratteristiche a diversi livelli facilitano la formazione di reti con più livelli. Questo è certamente un nuovo sviluppo dagli anni '80.

La chiave è la parola "profondo" nell'apprendimento profondo. Qualcuno (dimenticato riferimento) negli anni '80 ha dimostrato che tutte le funzioni non lineari potevano essere approssimate da una rete neurale a singolo strato con, ovviamente, un numero sufficientemente grande di unità nascoste. Penso che questo risultato abbia probabilmente scoraggiato le persone dalla ricerca di reti più profonde nell'era precedente.

Ma la profondità della rete è ciò che si è rivelato l'elemento cruciale nella rappresentazione gerarchica che guida il successo di molte applicazioni odierne.

Non esattamente, l'ANN inizia negli anni '50. Dai un'occhiata a una delle diapositive della rock star ML Yann LeCun per un'introduzione autentica e completa. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf