Qual è il miglior classificatore di classe 2 pronto all'uso per la tua applicazione? [chiuso]


15

Regole:

  • un classificatore per risposta
  • vota se sei d'accordo
  • ridimensionare / rimuovere i duplicati.
  • inserisci la tua domanda nel commento

Risposte:


14

Foresta casuale

  • cattura facilmente complicate relazioni struttura / non lineari
  • invariante alla scala delle variabili
  • non è necessario creare variabili fittizie per predittori categorici
  • la selezione delle variabili non è molto necessaria
  • relativamente difficile da equipaggiare

Selezione attiva del motivo Aptamer, previsione dell'umidità del suolo forestale, OCR a cifre, analisi dell'immagine satellitare multispettrale, recupero di informazioni musicali, chemiometria ...

13

Regressione logistica :

  • veloce e performante sulla maggior parte dei set di dati
  • quasi nessun parametro da mettere a punto
  • gestisce entrambe le funzionalità discrete / continue
  • il modello è facilmente interpretabile
  • (non limitato alle classificazioni binarie)

Forse nessun parametro da mettere a punto, ma bisogna davvero lavorare con variabili continue (trasformazioni, spline, ecc.) Per indurre la non linearità.
B_Miner

12

Supporto macchina vettoriale


Non c'è nulla di veramente speciale in SVM, a parte costringere l'utente a pensare alla regolarizzazione. Per la maggior parte dei problemi pratici, la regressione della cresta [kernel] funziona altrettanto bene.
Dikran Marsupial,

2
@dikran penso che SVM sia un grande classificatore perché è scarso e robusto per gli outlier - questo non è vero per la regressione logistica! ed è per questo che SVM è un classificatore all'avanguardia. L'unico problema che può essere un problema è - la complessità del tempo - ma penso che sia ok.
suncoolsu,

@suncoolsu Se si desidera la scarsità, si ottiene più sparsità dalla regressione logistica regolarizzata con LASSO rispetto a SVM. La scarsità di SVM è un sottoprodotto della funzione di perdita, quindi non si ottiene tanto quanto si fa con un algoritmo in cui la sparsità è un obiettivo di progettazione. Inoltre spesso con il valore ottimale dell'iperparametro (ad es. Scelto tramite validazione incrociata) scompare la maggior parte della scarsità dell'SVM. La SVM non è più solida per i valori anomali della regressione logistica regolarizzata - è soprattutto la regolarizzazione che conta, non la perdita dei cardini.
Dikran Marsupial,

@Dikran - il mio punto esatto - è importante un certo tipo di penalizzazione. Puoi ottenerlo usando Priors, aggiungendo Penalità, ecc.
suncoolsu

1
@suncoolsu In questo caso, l'SVM non è un grande classificatore, è solo uno tra molti classificatori regolarizzati, come la regressione della cresta, la regressione logistica regolarizzata, i processi gaussiani. Il principale vantaggio di SVM è il suo fascino dalla teoria dell'apprendimento computazionale. In pratica, altre considerazioni sono più importanti, ad esempio se è necessario un classificatore probabilistico, in cui è probabile che altre funzioni di perdita siano superiori. IMHO, c'è troppa attenzione data all'SVM, piuttosto che alla più ampia famiglia di metodi del kernel.
Dikran Marsupial,

7

Discriminante regolarizzato per problemi controllati con dati rumorosi

  1. Computazionalmente efficiente
  2. Robusto rumore e valori anomali nei dati
  3. Classificatori discriminanti lineari (LD) e quadratici discriminanti (QD) possono essere ottenuti dalla stessa implementazione impostando i parametri di regolarizzazione '[lambda, r]' su '[1 0]' per il classificatore LD e '[0 0]' per Classificatore QD - molto utile a scopo di riferimento.
  4. Il modello è facile da interpretare ed esportare
  5. Funziona bene con set di dati sparsi e "ampi" in cui le matrici di covarianza di classe potrebbero non essere ben definite.
  6. Una stima della probabilità di classe posteriore può essere stimata per ciascun campione applicando la funzione softmax ai valori discriminanti per ciascuna classe.

Link al documento originale del 1989 di Friedman et al qui . Inoltre, c'è un'ottima spiegazione di Kuncheva nel suo libro " Combinare classificatori di schemi ".


5

Alberi potenziati a gradiente.

  • Almeno accurato come RF in molte applicazioni
  • Integra perfettamente i valori mancanti
  • Importanza del var (come la RF probabilmente distorta a favore di un livello nominale continuo e molti)
  • Diagrammi di dipendenza parziale
  • GBM contro randomForest in R: gestisce MOLTI set di dati più grandi

4

Classificatore del processo gaussiano : fornisce previsioni probabilistiche (che è utile quando le frequenze della classe relativa operativa differiscono da quelle del set di addestramento o equivalenti i costi di falso positivo / falso negativo sono sconosciuti o variabili). Fornisce inoltre un'incidificazione dell'incertezza nelle previsioni del modello a causa dell'incertezza nella "stima del modello" da un set di dati finito. La funzione di co-varianza è equivalente alla funzione kernel in un SVM, quindi può operare direttamente su dati non vettoriali (es. Stringhe o grafici, ecc.). Anche il quadro matematico è pulito (ma non usare l'approssimazione di Laplace). Selezione automatica del modello tramite massimizzazione della probabilità marginale.

Combina essenzialmente buone funzionalità di regressione logistica e SVM.


Esiste un pacchetto R che consigli di implementare? Qual è la tua implementazione preferita per questo metodo? Grazie!
luglio

Temo di essere un utente MATLAB (utilizzo il pacchetto GPML gaussianprocess.org/gpml/code/matlab/doc ), quindi non posso consigliarti sulle implementazioni R, ma potresti trovare qualcosa di adatto qui gaussianprocess.org/# codice . Se R non ha un pacchetto decente per i medici di base, qualcuno deve scriverne uno!
Dikran Marsupial,

Ok grazie. Questo metodo consente di selezionare "variabili importanti, come l'importanza variabile delle foreste casuali o l'eliminazione delle caratteristiche ricorsive con SVM?
luglio

Sì, è possibile utilizzare una funzione di covarianza "Determinazione automatica della pertinenza" e scegliere gli iperparametri massimizzando l'evidenza bayesiana per il modello (anche se questo può incorrere nello stesso tipo di problemi di adattamento eccessivo che si verificano con SVMS, così spesso il modello funziona meglio senza selezione delle funzioni).
Dikran Marsupial,

4

Regressione logistica regolarizzata L1.

  • È computazionalmente veloce.
  • Ha un'interpretazione intuitiva.
  • Ha solo un iperparametro facilmente comprensibile che può essere sintonizzato automaticamente mediante convalida incrociata, che spesso è una buona strada da percorrere.
  • I suoi coefficienti sono lineari a tratti e la loro relazione con l'iperparametro è immediatamente e facilmente visibile in un semplice diagramma.
  • È uno dei metodi meno dubbi per la selezione delle variabili.
  • Inoltre ha un nome davvero interessante.

+1 L'iperparametro può anche essere integrato analiticamente, quindi non c'è alcuna reale necessità di validazione incrociata per molte applicazioni, vedere ad esempio theoval.cmp.uea.ac.uk/publications/pdf/nips2006a.pdf e bioinformatica .oxfordjournals.org / content / 22/19 / 2348.full.pdf .
Dikran Marsupial,

3

kNN


3

Naive Bayes e Naive Bandom


2
Puoi dare una descrizione a un problema in cui RNB ti ha dato buoni risultati?
Łukasz Lew,

No ;-) Questo era solo per ravvivare la piscina.

1

K- clustering per l'apprendimento senza supervisione.


La domanda chiede specificamente un classificatore.
Prometeo,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.