Esistono applicazioni in cui SVM è ancora superiore?


10

L'algoritmo SVM è piuttosto vecchio: è stato sviluppato negli anni '60, ma era estremamente popolare negli anni '90 e 2000. È una parte classica (e piuttosto bella) dei corsi di apprendimento automatico.

Oggi sembra che nell'elaborazione dei media (immagini, suoni, ecc.) Le reti neurali dominino completamente, mentre in altre aree il Gradient Boosting ha posizioni molto forti.

Inoltre, nelle recenti gare di dati non osservo soluzioni basate su SVM.

Sto cercando esempi di applicazioni in cui SVM fornisce ancora risultati all'avanguardia (a partire dal 2016).

Aggiornamento: Vorrei avere qualche esempio che posso dare ad esempio a studenti / colleghi quando spiegano SVM in modo che non sembri un approccio puramente teorico o deprecato.


3
Superiore in che senso? Qualche metrica sulle prestazioni? La formazione di una rete neurale profonda richiede una notevole quantità di tempo del computer, ma posso addestrare un SVM utile sul mio laptop.
Sycorax dice di reintegrare Monica il

@ user777 Intendo metrica di classificazione / regressione appropriata per il campo di applicazione, ovviamente. Il problema con la complessità computazionale per DL è importante, ma questo è un po 'fuori dallo scopo di questa domanda.
Alleo,

Risposte:


11

Secondo l'articolo Abbiamo bisogno di centinaia di classificatori per risolvere i problemi di classificazione del mondo reale? SVM insieme a Random Forest e Gradient Booting Machines sono tra gli algoritmi di classificazione con le migliori prestazioni per un ampio set di oltre 120 set di dati (usando l'accuratezza come metrica).

Ho ripetuto i loro esperimenti con alcune modifiche e ho ottenuto che questi tre classificatori funzionassero meglio degli altri, ma poiché il teorema no free lunch dice che c'è sempre un problema in cui alcuni altri algoritmi funzionano meglio di questi tre.

Quindi sì, direi che SVM (con il kernel gaussiano - questo è quello che ho usato) è ancora un algoritmo rilevante per set di dati non multimediali.


Ciao, grazie per la risposta! Ho visto questo studio interessante. Per quanto ho capito, l'idea era di vedere quanto classificatore dà senza alcuna messa a punto seria (mentre l'analista di dati dovrebbe eseguire la messa a punto IMO). Uno studio relativo all'area sarebbe di maggiore interesse.
Alleo,

1
Ricordo che Delgado e tutti non hanno eseguito una ricerca molto dettagliata dei migliori iperparametri, ma se hanno eseguito qualche ricerca. La domanda (per la quale non ho una risposta) è se una ricerca più fine per i migliori ipeparametri comporterebbe risultati diversi. Se ciò fosse vero, significherebbe che gli algoritmi concorrenti di SVM hanno in generale un picco molto preciso nella precisione di particolari iperparametri, che ritengo sia un fattore negativo per l'algoritmo.
Jacques Wainer,

Un altro piccolo commento è che i set di dati UCI (usati per i test) sono per lo più piuttosto piccoli. Mi chiedo se questa potrebbe essere la spiegazione per scarsi risultati di potenziamento? La maggior parte delle sfide Kaggle (con molti dati) dimostrano le prestazioni superiori di GB.
Alleo,

Sono d'accordo che i set di dati sono piccoli. Per i set di dati più grandi, al momento ho utilizzato le foreste casuali - inizierò a utilizzare GBM non appena mi sentirò più a mio agio con gli iperparametri - Non so quanto sia sensibile a loro GBM.
Jacques Wainer,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.