Quali sono i domini in cui gli SVM sono ancora allo stato dell'arte?

Sembra che le reti neurali profonde e altri modelli basati su reti neurali stiano dominando molte aree attuali come la visione artificiale, la classificazione degli oggetti, l'apprendimento per rinforzo, ecc.

Ci sono domini in cui gli SVM (o altri modelli) continuano a produrre risultati all'avanguardia?

Lo stato dell'arte è una barra dura, perché non è chiaro come debba essere misurato. Un criterio alternativo, simile allo stato dell'arte, è quello di chiedere quando potresti preferire provare un SVM.

Le SVM hanno diversi vantaggi:

1. Attraverso il trucco del kernel, il tempo di esecuzione di un SVM non aumenta in modo significativo se si desidera apprendere schemi su molte combinazioni di funzioni non lineari, piuttosto che sul set di funzionalità originale. Al contrario, un approccio più moderno come una rete neurale profonda dovrà approfondire o allargare per modellare gli stessi schemi, aumentando così il tempo di allenamento.
2. Le SVM hanno una propensione intrinseca alla raccolta di ipotesi "conservative", che hanno meno probabilità di sovrautilizzare i dati, perché cercano di trovare ipotesi di margine massimo. In un certo senso, "cuociono" il rasoio di Occam.
3. Gli SVM hanno solo due iperparametri (la scelta del kernel e la costante di regolarizzazione), quindi sono molto facili da sintonizzare su problemi specifici. Di solito è sufficiente sintonizzarli eseguendo una semplice ricerca della griglia nello spazio dei parametri, che può essere fatto automaticamente.

Gli SVM presentano anche alcuni svantaggi:

1. $O(n^3)$$O(w*n*e)$$n$$e$$w$$w, e << n$
2. $O(n^2)$

Tutti questi fattori indicano che le SVM sono rilevanti per un solo caso d'uso: piccoli set di dati in cui si ritiene che il modello di destinazione, apriori, sia una funzione regolare, ma altamente non lineare, di un gran numero di funzioni. Questo caso d'uso in realtà si presenta abbastanza spesso. Una recente applicazione di esempio in cui ho trovato che le SVM sono un approccio naturale stava costruendo modelli predittivi per una funzione target che era nota per essere il risultato di interazioni tra coppie di caratteristiche (in particolare, comunicazioni tra coppie di agenti). Un SVM con un kernel quadratico potrebbe quindi imparare in modo efficiente ipotesi prudenti, ragionevoli.

¹ Esistono algoritmi approssimativi che risolveranno l'SVM più velocemente di questo, come indicato nelle altre risposte.

Le reti di apprendimento profondo e neurale stanno prendendo gran parte dell'attenzione a causa dei recenti progressi nel settore e la maggior parte degli esperti ritiene che sia il futuro della risoluzione dei problemi di apprendimento automatico.

Ma non commettere errori, i modelli classici producono ancora risultati eccezionali e in alcuni problemi possono produrre risultati migliori dell'apprendimento profondo.

La regressione lineare è ancora di gran lunga l'algoritmo di machine learning più utilizzato al mondo.

È difficile identificare un dominio specifico in cui i modelli classici ottengono sempre prestazioni migliori poiché l'accuratezza è molto determinata dalla forma e dalla qualità dei dati di input.

Quindi la selezione di algoritmi e modelli è sempre un compromesso. È un'affermazione in qualche modo accurata per far sì che i modelli classici continuino a funzionare meglio con set di dati più piccoli. Tuttavia, molte ricerche stanno migliorando le prestazioni del modello di apprendimento profondo con meno dati.

La maggior parte dei modelli classici richiede meno risorse di calcolo, quindi se il tuo obiettivo è la velocità, allora è molto meglio.

Inoltre, i modelli classici sono più facili da implementare e visualizzare, il che può essere un altro indicatore per le prestazioni, ma dipende dai tuoi obiettivi.

Se disponi di risorse illimitate, un enorme set di dati osservabili correttamente etichettato e implementato correttamente all'interno del dominio problematico, l'apprendimento approfondito probabilmente ti darà risultati migliori nella maggior parte dei casi.

Ma nella mia esperienza, le condizioni del mondo reale non sono mai così perfette

Totalmente d'accordo con la risposta di @ John. Cercherò di completarlo con alcuni altri punti.

Alcuni vantaggi degli SVM:

a) SVM è definito da un problema di ottimizzazione convessa per il quale esistono metodi efficienti da risolvere, come SMO .

b) Efficace negli spazi ad alta dimensione e anche nei casi in cui il numero di dimensioni è maggiore del numero di campioni.

c) Utilizza un sottoinsieme di punti di allenamento nella funzione decisionale (chiamati vettori di supporto), quindi è anche efficiente in termini di memoria.

d) È possibile specificare diverse funzioni del kernel per la funzione decisionale. . Nella sua forma più semplice, il trucco del kernel significa trasformare i dati in un'altra dimensione che ha un chiaro margine di divisione tra le classi di dati.

Gli svantaggi delle macchine vettoriali di supporto includono:

a) Se il numero di funzioni è molto maggiore del numero di campioni, evitare l'adattamento eccessivo nella scelta delle funzioni del kernel e il termine di regolarizzazione è cruciale. I modelli del kernel possono essere piuttosto sensibili all'adattamento eccessivo del criterio di selezione del modello

b) le SVM non forniscono direttamente stime di probabilità. In molti problemi di classificazione in realtà vuoi la probabilità di appartenenza alla classe, quindi sarebbe meglio usare un metodo come Regressione logistica, piuttosto che post-processare l'output dell'SVM per ottenere le probabilità.

Per set di dati di dati tabulari a bassa dimensione. I DNN non sono efficienti sugli input a bassa dimensione a causa dell'enorme parametrizzazione. Quindi, anche se il set di dati ha dimensioni enormi, ma ogni campione è SVM a bassa dimensione, batterebbe DNN.

Più in generale se i dati sono tabulari e la correlazione tra i campi del campione è debole e rumorosa, SVM può comunque battere DNN anche per dati ad alta dimensione, ma ciò dipende da specifici dati.

Sfortunatamente non riesco a ricordare documenti specifici sull'argomento, quindi è per lo più ragionamento di buon senso, non devi fidarti.