Misure di separabilità delle classi nei problemi di classificazione

Un esempio di buona misura della separabilità delle classi negli studenti discriminanti lineari è il rapporto discriminante lineare di Fisher. Esistono altre metriche utili per determinare se i set di funzionalità forniscono una buona separazione delle classi tra le variabili target? In particolare, sono interessato a trovare buoni attributi di input multivariati per massimizzare la separazione della classe target e sarebbe bello avere una misura non lineare / non parametrica per determinare rapidamente se forniscono una buona separabilità.

Le misure di importanza variabile (VIM) delle foreste casuali potrebbero essere ciò che stai cercando. Una breve panoramica di questi due è fornita in un documento Panoramica sulla metodologia della foresta casuale e sulla guida pratica con enfasi sulla biologia computazionale e la bioinformatica di Boulesteix et al.

L'idea per Gini VIM è di ottenere alcune statistiche sulla frequenza con cui una foresta casuale ha fatto uso di un determinato attributo come criterio di suddivisione. Le caratteristiche informative vengono scelte più spesso qui.

La permutazione VIM si basa sull'idea che le stime di errore del classificatore RF vengono confrontate tra

• il set di dati originale e
• un set di dati artificiale in cui sono stati permessi i valori per l'attributo ONE.

La risultante differenza di stima dell'errore sarà grande per le funzionalità importanti.

Per quanto ricordo, i VIM possono anche essere utilizzati per scoprire dipendenze tra le funzionalità.

Trovare un set di funzionalità ottimali può essere piuttosto costoso dal punto di vista computazionale. Le principali categorie di soluzioni disponibili possono essere raggruppate in due insiemi: o associano a un classificatore specifico (wrapper) o una semplice classificazione delle funzionalità in base ad alcuni criteri (metodi di filtro).

In base alle tue esigenze (veloce / non parametrico / non lineare) probabilmente avrai bisogno di candidati per i metodi di filtro. Ci sono alcuni esempi di quelli descritti in letteratura . Ad esempio Information Gain - che valuta il valore di un attributo misurando il guadagno delle informazioni rispetto alla classe; o Correlazione che valuta il valore di un attributo in base alla correlazione tra l'attributo e la classe.

I metodi wrapper sono associati a un classificatore e possono finire con un migliore set di funzionalità per il classificatore di interesse. A causa della loro natura (formazione / test completi in ogni iterazione) non possono essere considerati rapidi o non parametrici, tuttavia possono gestire relazioni non lineari di caratteristiche (il 3o requisito). Un esempio potrebbe essere l'eliminazione delle caratteristiche ricorsive che si basa su SVM, quindi mira a massimizzare il margine tra le classi e può gestire relazioni non lineari di caratteristiche (usando un kernel non lineare).