Quali sono i vantaggi delle reti neurali artificiali rispetto alle macchine vettoriali di supporto? [chiuso]

ANN (Artificial Neural Networks) e SVM (Support Vector Machines) sono due strategie popolari per l'apprendimento automatico e la classificazione supervisionati. Spesso non è chiaro quale sia il metodo migliore per un determinato progetto, e sono certo che la risposta è sempre "dipende". Spesso viene utilizzata una combinazione di entrambi insieme alla classificazione bayesiana.

Queste domande su StackOverflow sono già state poste per quanto riguarda ANN vs SVM:

Classificazione ANN e SVM

qual è la differenza tra ANN, SVM e KNN nella mia domanda di classificazione

Supportare la macchina vettoriale o la rete neurale artificiale per l'elaborazione del testo?

In questa domanda, vorrei sapere in particolare quali aspetti di una ANN (in particolare, un Perceptron multistrato) potrebbero rendere desiderabile l'utilizzo su un SVM? Il motivo per cui lo chiedo è perché è facile rispondere alla domanda opposta : Support Vector Machines sono spesso superiori alle ANN perché evitano due principali punti deboli delle ANN:

(1) Le ANN spesso convergono su minimi locali piuttosto che minimi globali, il che significa che a volte essenzialmente "manca il quadro generale" (o manca la foresta per gli alberi)

(2) Le ANN spesso sovrautilizzano se l'allenamento dura troppo a lungo, il che significa che per una data sequenza, una ANN potrebbe iniziare a considerare il rumore come parte della sequenza.

Le SVM non soffrono di nessuno di questi due problemi. Tuttavia, non è prontamente evidente che gli SVM debbano essere un sostituto totale degli ANN. Quindi quali specifici vantaggi ha una RNA rispetto a una SVM che potrebbe renderla applicabile a determinate situazioni? Ho elencato i vantaggi specifici di un SVM rispetto a un ANN, ora mi piacerebbe vedere un elenco di vantaggi ANN (se presenti).

A giudicare dagli esempi che fornisci, presumo che per ANN si intendono le reti feed-forward multistrato (in breve reti FF), come i percettroni multistrato, perché sono in diretta concorrenza con le SVM.

Un vantaggio specifico che questi modelli hanno sugli SVM è che le loro dimensioni sono fisse: sono modelli parametrici , mentre gli SVM non sono parametrici. Cioè, in una ANN hai un mucchio di livelli nascosti con dimensioni da h ₁ a h _na seconda del numero di funzioni, oltre a parametri di polarizzazione e quelli che compongono il modello. Al contrario, un SVM (almeno un kernel) è costituito da una serie di vettori di supporto, selezionati dalla serie di addestramento, con un peso per ciascuno. Nel peggiore dei casi, il numero di vettori di supporto è esattamente il numero di campioni di addestramento (sebbene ciò si verifichi principalmente con piccoli set di addestramento o in casi degeneri) e in generale la sua dimensione del modello si ridimensiona in modo lineare. Nell'elaborazione del linguaggio naturale, i classificatori SVM con decine di migliaia di vettori di supporto, ciascuno con centinaia di migliaia di funzionalità, non sono inauditi.

Inoltre, l'addestramento online delle reti FF è molto semplice rispetto all'adattamento SVM online e la previsione può essere un po 'più veloce.

EDIT : tutto quanto sopra riguarda il caso generale degli SVM con kernel. Le SVM lineari sono un caso speciale in quanto sono parametriche e consentono l'apprendimento online con semplici algoritmi come la discesa gradiente stocastica.

Un ovvio vantaggio delle reti neurali artificiali rispetto alle macchine vettoriali di supporto è che le reti neurali artificiali possono avere un numero qualsiasi di output, mentre le macchine vettoriali di supporto ne hanno solo uno. Il modo più diretto per creare un classificatore n-ary con macchine vettoriali di supporto è creare n macchine vettoriali di supporto e formare ciascuna di esse una per una. D'altra parte, un classificatore n-ary con reti neurali può essere addestrato in una volta sola. Inoltre, la rete neurale avrà più senso perché è un tutt'uno, mentre le macchine vettoriali di supporto sono sistemi isolati. Ciò è particolarmente utile se le uscite sono correlate.

Ad esempio, se l'obiettivo fosse classificare le cifre scritte a mano, dieci macchine vettoriali di supporto farebbero. Ogni macchina vettoriale di supporto riconoscerebbe esattamente una cifra e non riconoscerebbe tutte le altre. Dal momento che ogni cifra scritta a mano non può contenere più informazioni della sua classe, non ha senso cercare di risolverlo con una rete neurale artificiale.

Tuttavia, supponiamo che l'obiettivo fosse quello di modellare l'equilibrio ormonale di una persona (per diversi ormoni) in funzione di fattori fisiologici facilmente misurabili come il tempo trascorso dall'ultimo pasto, la frequenza cardiaca, ecc ... Dal momento che questi fattori sono tutti correlati, neuronali artificiali la regressione della rete ha più senso del supporto della regressione della macchina vettoriale.

Una cosa da notare è che i due sono in realtà molto correlati. Le SVM lineari sono equivalenti alle NN a singolo strato (cioè, percettroni) e le NN a più strati possono essere espresse in termini di SVM. Vedi qui per alcuni dettagli.

Se vuoi usare un kernel SVM devi indovinare il kernel. Tuttavia, le ANN sono approssimatori universali con la sola ipotesi da fare è la larghezza (precisione dell'approssimazione) e l'altezza (efficienza dell'approssimazione). Se si progetta correttamente il problema di ottimizzazione, non si adatta in modo eccessivo (consultare la bibliografia per un adattamento eccessivo). Dipende anche dagli esempi di addestramento se eseguono una scansione corretta e uniforme dello spazio di ricerca. La scoperta di larghezza e profondità è oggetto della programmazione di numeri interi.

Supponiamo di avere funzioni limitate f (.) E approssimatori universali limitati su I = [0,1] con intervallo di nuovo I = [0,1] ad esempio che sono parametrizzati da una sequenza reale di supporto compatto U (., A) con la proprietà con cui esiste una sequenza di sequenze

lim sup { |f(x) - U(x,a(k) ) | : x } =0

e disegni esempi e test (x,y)con una distribuzione D attiva IxI.

Per un supporto prescritto, quello che fai è trovare il migliore in modo tale

sum {  ( y(l) - U(x(l),a) )^{2} | : 1<=l<=N } is minimal

Lascia a=aache questa sia una variabile casuale !, lo è quindi l'over-fitting

utilizzo medio D and D^{N} of ( y - U(x,aa) )^{2}

Lasciami spiegare perché, se selezioni in modo aatale che l'errore sia minimizzato, allora per un raro set di valori hai la misura perfetta. Tuttavia, poiché sono rari, la media non è mai 0. Si desidera ridurre al minimo il secondo sebbene si abbia un'approssimazione discreta a D. E tenere presente che la lunghezza del supporto è gratuita.

Una risposta qui mi manca: perceptron multi-layer è in grado di trovare una relazione tra le caratteristiche. Ad esempio, è necessario nella visione artificiale quando viene fornita un'immagine non elaborata all'algoritmo di apprendimento e ora vengono calcolate funzionalità sofisticate. In sostanza i livelli intermedi possono calcolare nuove funzionalità sconosciute.

Dovremmo anche considerare che il sistema SVM può essere applicato direttamente a spazi non metrici, come l'insieme di grafici o stringhe etichettati. In effetti, la funzione interna del kernel può essere generalizzata correttamente praticamente a qualsiasi tipo di input, a condizione che sia soddisfatto il requisito di definitività positiva del kernel. D'altro canto, per poter utilizzare una RNA su una serie di grafici etichettati, è necessario prendere in considerazione procedure di incorporamento esplicito.