Qual è il miglior classificatore di classe 2 pronto all'uso per la tua applicazione? [chiuso]

15

Chiuso . Questa domanda è basata sull'opinione . Al momento non accetta risposte.

Vuoi migliorare questa domanda? Aggiorna la domanda in modo che possa essere risolta con fatti e citazioni modificando questo post .

Chiuso 3 anni fa .

Regole:

un classificatore per risposta
vota se sei d'accordo
ridimensionare / rimuovere i duplicati.
inserisci la tua domanda nel commento

machine-learning classification application

— Łukasz Lew
fonte

14

Foresta casuale

cattura facilmente complicate relazioni struttura / non lineari
invariante alla scala delle variabili
non è necessario creare variabili fittizie per predittori categorici
la selezione delle variabili non è molto necessaria
relativamente difficile da equipaggiare

— Łukasz Lew
fonte

Selezione attiva del motivo Aptamer, previsione dell'umidità del suolo forestale, OCR a cifre, analisi dell'immagine satellitare multispettrale, recupero di informazioni musicali, chemiometria ...

13

Regressione logistica :

veloce e performante sulla maggior parte dei set di dati
quasi nessun parametro da mettere a punto
gestisce entrambe le funzionalità discrete / continue
il modello è facilmente interpretabile
(non limitato alle classificazioni binarie)

— Amro
fonte

Forse nessun parametro da mettere a punto, ma bisogna davvero lavorare con variabili continue (trasformazioni, spline, ecc.) Per indurre la non linearità.

— B_Miner

12

Supporto macchina vettoriale

— Łukasz Lew
fonte

Non c'è nulla di veramente speciale in SVM, a parte costringere l'utente a pensare alla regolarizzazione. Per la maggior parte dei problemi pratici, la regressione della cresta [kernel] funziona altrettanto bene.

— Dikran Marsupial,

2

@dikran penso che SVM sia un grande classificatore perché è scarso e robusto per gli outlier - questo non è vero per la regressione logistica! ed è per questo che SVM è un classificatore all'avanguardia. L'unico problema che può essere un problema è - la complessità del tempo - ma penso che sia ok.

— suncoolsu,

@suncoolsu Se si desidera la scarsità, si ottiene più sparsità dalla regressione logistica regolarizzata con LASSO rispetto a SVM. La scarsità di SVM è un sottoprodotto della funzione di perdita, quindi non si ottiene tanto quanto si fa con un algoritmo in cui la sparsità è un obiettivo di progettazione. Inoltre spesso con il valore ottimale dell'iperparametro (ad es. Scelto tramite validazione incrociata) scompare la maggior parte della scarsità dell'SVM. La SVM non è più solida per i valori anomali della regressione logistica regolarizzata - è soprattutto la regolarizzazione che conta, non la perdita dei cardini.

— Dikran Marsupial,

@Dikran - il mio punto esatto - è importante un certo tipo di penalizzazione. Puoi ottenerlo usando Priors, aggiungendo Penalità, ecc.

— suncoolsu

1

@suncoolsu In questo caso, l'SVM non è un grande classificatore, è solo uno tra molti classificatori regolarizzati, come la regressione della cresta, la regressione logistica regolarizzata, i processi gaussiani. Il principale vantaggio di SVM è il suo fascino dalla teoria dell'apprendimento computazionale. In pratica, altre considerazioni sono più importanti, ad esempio se è necessario un classificatore probabilistico, in cui è probabile che altre funzioni di perdita siano superiori. IMHO, c'è troppa attenzione data all'SVM, piuttosto che alla più ampia famiglia di metodi del kernel.

— Dikran Marsupial,

7

Discriminante regolarizzato per problemi controllati con dati rumorosi

Computazionalmente efficiente
Robusto rumore e valori anomali nei dati
Classificatori discriminanti lineari (LD) e quadratici discriminanti (QD) possono essere ottenuti dalla stessa implementazione impostando i parametri di regolarizzazione '[lambda, r]' su '[1 0]' per il classificatore LD e '[0 0]' per Classificatore QD - molto utile a scopo di riferimento.
Il modello è facile da interpretare ed esportare
Funziona bene con set di dati sparsi e "ampi" in cui le matrici di covarianza di classe potrebbero non essere ben definite.
Una stima della probabilità di classe posteriore può essere stimata per ciascun campione applicando la funzione softmax ai valori discriminanti per ciascuna classe.

Link al documento originale del 1989 di Friedman et al qui . Inoltre, c'è un'ottima spiegazione di Kuncheva nel suo libro " Combinare classificatori di schemi ".

— BGreene
fonte

5

Alberi potenziati a gradiente.

Almeno accurato come RF in molte applicazioni
Integra perfettamente i valori mancanti
Importanza del var (come la RF probabilmente distorta a favore di un livello nominale continuo e molti)
Diagrammi di dipendenza parziale
GBM contro randomForest in R: gestisce MOLTI set di dati più grandi

— B_Miner
fonte

4

Classificatore del processo gaussiano : fornisce previsioni probabilistiche (che è utile quando le frequenze della classe relativa operativa differiscono da quelle del set di addestramento o equivalenti i costi di falso positivo / falso negativo sono sconosciuti o variabili). Fornisce inoltre un'incidificazione dell'incertezza nelle previsioni del modello a causa dell'incertezza nella "stima del modello" da un set di dati finito. La funzione di co-varianza è equivalente alla funzione kernel in un SVM, quindi può operare direttamente su dati non vettoriali (es. Stringhe o grafici, ecc.). Anche il quadro matematico è pulito (ma non usare l'approssimazione di Laplace). Selezione automatica del modello tramite massimizzazione della probabilità marginale.

Combina essenzialmente buone funzionalità di regressione logistica e SVM.

— Dikran Marsupial
fonte

Esiste un pacchetto R che consigli di implementare? Qual è la tua implementazione preferita per questo metodo? Grazie!

— luglio

Temo di essere un utente MATLAB (utilizzo il pacchetto GPML gaussianprocess.org/gpml/code/matlab/doc ), quindi non posso consigliarti sulle implementazioni R, ma potresti trovare qualcosa di adatto qui gaussianprocess.org/# codice . Se R non ha un pacchetto decente per i medici di base, qualcuno deve scriverne uno!

— Dikran Marsupial,

Ok grazie. Questo metodo consente di selezionare "variabili importanti, come l'importanza variabile delle foreste casuali o l'eliminazione delle caratteristiche ricorsive con SVM?

— luglio

Sì, è possibile utilizzare una funzione di covarianza "Determinazione automatica della pertinenza" e scegliere gli iperparametri massimizzando l'evidenza bayesiana per il modello (anche se questo può incorrere nello stesso tipo di problemi di adattamento eccessivo che si verificano con SVMS, così spesso il modello funziona meglio senza selezione delle funzioni).

— Dikran Marsupial,

4

Regressione logistica regolarizzata L1.

È computazionalmente veloce.
Ha un'interpretazione intuitiva.
Ha solo un iperparametro facilmente comprensibile che può essere sintonizzato automaticamente mediante convalida incrociata, che spesso è una buona strada da percorrere.
I suoi coefficienti sono lineari a tratti e la loro relazione con l'iperparametro è immediatamente e facilmente visibile in un semplice diagramma.
È uno dei metodi meno dubbi per la selezione delle variabili.
Inoltre ha un nome davvero interessante.

— miura
fonte

+1 L'iperparametro può anche essere integrato analiticamente, quindi non c'è alcuna reale necessità di validazione incrociata per molte applicazioni, vedere ad esempio theoval.cmp.uea.ac.uk/publications/pdf/nips2006a.pdf e bioinformatica .oxfordjournals.org / content / 22/19 / 2348.full.pdf .

— Dikran Marsupial,

3

kNN

— user88
fonte

3

Naive Bayes e Naive Bandom

— user88
fonte

2

Puoi dare una descrizione a un problema in cui RNB ti ha dato buoni risultati?

— Łukasz Lew,

No ;-) Questo era solo per ravvivare la piscina.

1

K- clustering per l'apprendimento senza supervisione.

— Berkay
fonte

La domanda chiede specificamente un classificatore.

— Prometeo,