I primi cinque classificatori da provare per primi

Oltre a evidenti caratteristiche classificatore come

• costo computazionale,
• tipi di dati previsti di caratteristiche / etichette e
• idoneità per determinate dimensioni e dimensioni dei set di dati,

quali sono i primi cinque (o 10, 20?) classificatori da provare prima su un nuovo set di dati di cui non si conosce ancora molto (ad esempio semantica e correlazione delle singole caratteristiche)? Di solito provo Naive Bayes, il vicino più vicino, l'albero decisionale e SVM - anche se non ho buone ragioni per questa selezione se non per conoscerli e soprattutto capire come funzionano.

Immagino che uno dovrebbe scegliere classificatori che coprono i più importanti approcci di classificazione generale . Quale selezione consiglieresti, secondo quel criterio o per qualsiasi altro motivo?

AGGIORNAMENTO: Una formulazione alternativa per questa domanda potrebbe essere: "Quali approcci generali alla classificazione esistono e quali metodi specifici coprono quelli più importanti / popolari / promettenti?"

Foresta casuale

Veloce, robusto, buona precisione, nella maggior parte dei casi nulla da sintonizzare, non richiede alcuna normalizzazione, immune alla collinearità, genera un'approssimazione dell'errore abbastanza buona e una classificazione di importanza utile come effetto collaterale dell'allenamento, banalmente parallelo, predice in un batter d'occhio.

Svantaggi: più lenti di metodi banali come kNN o NB, funziona meglio con classi uguali, peggiore accuratezza rispetto a SVM per problemi che richiedono disperatamente il trucco del kernel, è una scatola nera dura, non produce caffè.

Classificatore di processo gaussiano (non usando l'approssimazione di Laplace), preferibilmente con emarginazione piuttosto che ottimizzazione degli iperparametri. Perché?

1. perché danno una classificazione probabilistica
2. è possibile utilizzare una funzione del kernel che consente di operare direttamente su dati non vettoriali e / o incorporare conoscenze di esperti
3. affrontano l'incertezza nell'adattare correttamente il modello e puoi propagare tale incertezza al processo decisionale
4. prestazioni predittive generalmente molto buone.

Svantaggi

1. lento
2. richiede molta memoria
3. poco pratico per problemi su larga scala.

La prima scelta sarebbe la regressione logistica regolarizzata o la regressione della cresta [senza selezione delle caratteristiche] - per la maggior parte dei problemi, algoritmi molto semplici funzionano piuttosto bene e sono più difficili da sbagliare (in pratica le differenze nelle prestazioni tra gli algoritmi sono minori delle differenze nelle prestazioni tra l'operatore che li guida).

Da solo quando ti avvicini a un nuovo set di dati, dovresti iniziare a controllare l'intero problema. Prima di tutto ottenere una distribuzione per caratteristiche categoriche e deviazioni medie e standard per ogni caratteristica continua. Poi:

• Elimina funzionalità con oltre il X% di valori mancanti;
• Elimina le caratteristiche categoriche quando un determinato valore ottiene più del 90-95% della frequenza relativa;
• Elimina le caratteristiche continue con CV = std / mean <0.1;
• Ottieni una classifica dei parametri, ad esempio ANOVA per continuo e Chi-quadrato per categoriale;
• Ottieni un sottoinsieme significativo di funzionalità;

Quindi di solito divido le tecniche di classificazione in 2 set: scatola bianca e tecnica scatola nera. Se hai bisogno di sapere "come funziona il classificatore", dovresti scegliere nel primo set, ad esempio Classificatori basati su alberi di decisione o basati su regole.

Se hai bisogno di classificare nuovi record senza costruire un modello, dovresti dare un'occhiata allo studente desideroso, ad esempio KNN.

Dopodiché penso sia meglio avere una soglia tra precisione e velocità: le reti neurali sono un po 'più lente di SVM.

Questa è la mia principale tecnica di classificazione cinque:

1. Albero decisionale;
2. Classificatori basati su regole;
3. SMO (SVM);
4. Naive Bayes;
5. Reti neurali.