Apprendimento profondo vs. alberi decisionali e metodi di potenziamento

18

Sto cercando documenti o testi che confrontino e discutano (empiricamente o teoricamente):

Accrescere e Decision Trees algoritmi come casuali Foreste o AdaBoost e GentleBoost applicati agli alberi decisionali.

con

Metodi di apprendimento profondo come macchine Boltzmann limitate , memoria temporale gerarchica , reti neurali convoluzionali , ecc.

Più specificamente, qualcuno conosce un testo che discute o confronta questi due blocchi di metodi ML in termini di velocità, accuratezza o convergenza? Inoltre, sto cercando testi che spieghino o riassumano le differenze (ad es. Pro e contro) tra i modelli o i metodi nel secondo blocco.

Qualsiasi suggerimento o risposta che affronti direttamente tali confronti sarebbe molto apprezzato.

— Amelio Vazquez-Reina
fonte

1

Puoi essere più specifico sui tipi di dati che stai guardando? Ciò determinerà in parte quale tipo di algoritmo converge più velocemente.

Inoltre, non sono sicuro di come confrontare metodi come boosting e DL, poiché il boosting è in realtà solo una raccolta di metodi. Quali altri algoritmi stai usando con il boosting?

In generale, le tecniche DL possono essere descritte come strati di encoder / decodificatori. La pre-formazione senza supervisione funziona prima pre-allenando ogni strato codificando il segnale, decodificando il segnale, quindi misurando l'errore di ricostruzione. La sintonizzazione può quindi essere utilizzata per ottenere prestazioni migliori (ad es. Se si utilizza il denoising di codificatori automatici impilati è possibile utilizzare la propagazione di ritorno).

Un buon punto di partenza per la teoria DL è:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.73.795&rep=rep1&type=pdf

così come questi:

http://portal.acm.org/citation.cfm?id=1756025

(scusate, ho dovuto cancellare l'ultimo collegamento a causa del sistema di filtraggio SPAM)

Non ho incluso alcuna informazione sugli RBM, ma sono strettamente correlati (sebbene all'inizio personalmente un po 'più difficile da capire).

— user5268
fonte

Grazie @f (x), sono interessato alla classificazione di segmenti o patch di pixel (2D o 3D), ma volevo mantenere la domanda originale il più generale possibile. Se metodi diversi funzionano meglio su diversi tipi di set di dati, sarei interessato a una discussione che affronti queste differenze.

— Amelio Vazquez-Reina

1

Generalmente in termini di elaborazione delle immagini, i metodi DL fungeranno da estrattori di funzionalità che possono quindi essere accoppiati con SVM per effettuare la classificazione. Questi metodi sono generalmente paragonabili ad approcci ingegnerizzati a mano come SIFT, SURF e HOG. I metodi DL sono stati estesi al video con CRBM gated e ISA. I metodi ingegnerizzati a mano includono HOG / HOF, HOG3d ed eSURF (vedi Wang et al. 2009 per un buon confronto).

— user5268

1

Ottima domanda! Sia il potenziamento adattivo che il deep learning possono essere classificati come reti di apprendimento probabilistico. La differenza è che il "deep learning" coinvolge specificamente una o più "reti neurali", mentre il "potenziamento" è un "algoritmo di meta-apprendimento" che richiede una o più reti di apprendimento, chiamate discenti deboli, che possono essere "qualsiasi cosa" (es. rete neurale, albero decisionale, ecc.). L'algoritmo di potenziamento prende una o più delle sue reti deboli di discenti per formare quello che viene chiamato un "discente forte", che può "potenziare" in modo significativo i risultati complessivi delle reti di apprendimento (ovvero Viola e Jones Face Detector di Microsoft, OpenCV).

— SensorVista
fonte