Dove e perché brilla l'apprendimento profondo?

Al giorno d'oggi, con tutti i media e le discussioni sull'apprendimento profondo, ho letto alcune cose elementari al riguardo. Ho appena scoperto che è solo un altro metodo di apprendimento automatico per apprendere modelli dai dati. Ma la mia domanda è: dove brilla e perché questo metodo brilla? Perché tutti ne parlano adesso? Vale a dire di cosa si tratta?

— Jack Twain
fonte

Guarda le lezioni qualitative su YouTube di Geoff Hinton e Andrew Ng per una facile panoramica del perché sia così bello.

— Jase,

Risposte:

I principali vantaggi presunti:

(1) Non è necessario progettare a mano le funzionalità per problemi di apprendimento non lineare (risparmiare tempo e scalabilità per il futuro, poiché l'ingegneria manuale è vista da alcuni come un cerotto a breve termine)

(2) Le funzioni apprese a volte sono migliori delle migliori funzioni ingegnerizzate a mano e possono essere così complesse (visione artificiale - ad es. Caratteristiche simili a quelle del viso) che richiederebbe troppo tempo umano da progettare.

(3) Può utilizzare dati senza etichetta per pre-addestrare la rete. Supponiamo di avere 1000000 immagini senza etichetta e 1000 immagini etichettate. Ora possiamo migliorare drasticamente un algoritmo di apprendimento supervisionato pre-training sulle 1000000 immagini senza etichetta con deep learning. Inoltre, in alcuni domini abbiamo così tanti dati senza etichetta ma i dati etichettati sono difficili da trovare. È utile un algoritmo che può utilizzare questi dati senza etichetta per migliorare la classificazione.

(4) Empiricamente, ha infranto molti parametri di riferimento che vedevano solo miglioramenti incrementali fino all'introduzione di metodi di apprendimento profondo.

(5) Lo stesso algoritmo funziona in più aree con input non elaborati (forse con pre-elaborazione minore).

(6) Continua a migliorare man mano che vengono immessi più dati nella rete (presupponendo distribuzioni fisse ecc.).

— Jase
fonte

Un altro punto importante in aggiunta a quanto sopra (non ho un rappresentante sufficiente per aggiungerlo semplicemente come commento) è che si tratta di un modello generativo (almeno Deep Belief Nets) e quindi è possibile campionare dalle distribuzioni apprese - questo può avere alcuni importanti vantaggi in alcune applicazioni in cui si desidera generare dati sintetici corrispondenti alle classi / cluster appresi.

— Alex McMurray
fonte

Questa non è una proprietà generale dell'apprendimento profondo, ma del modello concreto in questione. Ad esempio è possibile campionare da un gaussiano ma non da una regressione logistica. Puoi anche campionare da una varietà di modelli di apprendimento profondo, ad esempio reti di credenze profonde come hai detto, macchine Boltzmann profonde, modelli gaussiani latenti profondi, ecc. Ma non puoi campionare da reti da draga, che sono i modelli che sono stati utilizzati in tutti gli impressionanti applicazioni.

— Bayerj,

... Perché non puoi campionare da una regressione logistica?

— Hong Ooi,

Dato un modello LR , è possibile campionare la classe condizionata sull'input. Ma non puoi campionare un input. Pertanto, è più una distinzione discriminatoria / generativa.

p (c | x)

$p(c|x)$

— Bayerj,

Lo stesso vale per un modello di regressione gaussiana, se con ciò intendi una regressione lineare di base.

— Hong Ooi,