Formazione di un albero decisionale contro dati non bilanciati

Sono nuovo del data mining e sto cercando di formare un albero decisionale su un set di dati che è altamente sbilanciato. Tuttavia, sto riscontrando problemi con scarsa precisione predittiva.

I dati sono costituiti dagli studenti che studiano i corsi e la variabile di classe è lo stato del corso che ha due valori: Ritirato o Corrente.

• Età
• Razza
• Genere
• Corso
  ...
• Stato del corso

Nel set di dati ci sono molte più istanze correnti rispetto a quelle ritirate. Le istanze ritirate rappresentano solo il 2% delle istanze totali.

Voglio essere in grado di costruire un modello in grado di prevedere la probabilità che una persona si ritiri in futuro. Tuttavia, quando si testa il modello rispetto ai dati di addestramento, l'accuratezza del modello è terribile.

Ho avuto problemi simili con gli alberi delle decisioni in cui i dati sono dominati da una o due classi.

Quale approccio posso usare per risolvere questo problema e creare un classificatore più accurato?

Questo è un problema interessante e molto frequente nella classificazione - non solo negli alberi delle decisioni ma praticamente in tutti gli algoritmi di classificazione.

Come hai scoperto empiricamente, un set di formazione composto da un numero diverso di rappresentanti di entrambe le classi può comportare un classificatore che è distorto verso la classe di maggioranza. Se applicato a un set di test similmente sbilanciato, questo classificatore fornisce una stima di precisione ottimistica. In un caso estremo, il classificatore potrebbe assegnare ogni singolo caso di test alla classe di maggioranza, ottenendo così un'accuratezza pari alla proporzione di casi di test appartenenti alla classe di maggioranza. Questo è un fenomeno ben noto nella classificazione binaria (e si estende naturalmente alle impostazioni multi-classe).

Questo è un problema importante, perché un set di dati sbilanciato può portare a stime delle prestazioni gonfiate. Questo a sua volta può portare a false conclusioni sul significato con cui l'algoritmo ha funzionato meglio del caso.

La letteratura sull'apprendimento automatico su questo argomento ha essenzialmente sviluppato tre strategie di soluzione.

1. È possibile ripristinare l'equilibrio sul set di allenamento sottocampionando la classe grande o sovracampionando la classe piccola, per evitare che si verifichino distorsioni in primo luogo.

2. In alternativa, è possibile modificare nuovamente i costi di classificazione errata, come indicato in una risposta precedente, per evitare distorsioni.

3. Un'ulteriore salvaguardia è quella di sostituire l'accuratezza con la cosiddetta precisione bilanciata . È definita come media aritmetica delle accuratezze specifiche della classe, dove e rappresentano l'accuratezza ottenuta su esempi positivi e negativi, rispettivamente. Se il classificatore si comporta ugualmente bene su entrambe le classi, questo termine si riduce alla precisione convenzionale (cioè, il numero di previsioni corrette diviso per il numero totale di previsioni). Al contrario, se l'accuratezza convenzionale è al di sopra della probabilità solo perché il classificatore sfrutta un set di test sbilanciato, l'accuratezza bilanciata, come appropriato, scenderà al caso (vedere lo schizzo seguente).π+π$\phi := \frac{1}{2}\left(\pi^+ + \pi^-\right),$$\pi^+$$\pi^-$

Consiglierei di prendere in considerazione almeno due dei suddetti approcci congiuntamente. Ad esempio, potresti sovracampionare la tua classe di minoranza per evitare che il tuo classificatore acquisisca un pregiudizio a favore della classe di maggioranza. In seguito, durante la valutazione delle prestazioni del classificatore, è possibile sostituire l'accuratezza con l'accuratezza bilanciata. I due approcci sono complementari. Se applicati insieme, dovrebbero aiutarti sia a prevenire il problema originale sia a evitare false conclusioni a seguito di esso.

Sarei felice di pubblicare alcuni riferimenti aggiuntivi alla letteratura se desideri dare seguito a questo.

Le seguenti quattro idee possono aiutarti ad affrontare questo problema.

1. Selezionare una misura di prestazione appropriata e quindi ottimizzare gli iperparametri del modello - regolarizzazione eg - per ottenere risultati soddisfacenti sul set di dati di convalida incrociata e, una volta soddisfatti, testare il modello sul set di dati di test. A tal fine, imposta il 15% dei dati da utilizzare per la convalida incrociata e il 15% da utilizzare per i test finali. Una misura consolidata in Machine Learning, sostenuta da Andrews Ng è la statistica F1 definita come . Cerca di massimizzare questa cifra nel set di dati di convalida incrociata e assicurati che le prestazioni siano stabili anche nel set di dati di test.$2 * Precision * \frac{Recall}{Precision + Recall}$

2. Utilizzare il parametro "precedente" negli alberi delle decisioni per informare l'algoritmo della frequenza precedente delle classi nel set di dati, ovvero se ci sono 1.000 positivi in ​​un set di set di dati 1.000.000 prior = c(0.001, 0.999)(in R).

3. Utilizzare l'argomento "pesi" nella funzione di classificazione utilizzata per penalizzare gravemente l'algoritmo per le classificazioni errate dei rari casi positivi

4. Utilizzare l'argomento "costo" in alcuni algoritmi di classificazione, ad esempio rpartin R, per definire i costi relativi per le classificazioni errate di veri positivi e negativi reali. Dovresti naturalmente impostare un costo elevato per la classificazione errata della classe rara.

Non sono favorevole al sovracampionamento, poiché introduce osservazioni dipendenti nel set di dati e ciò viola le ipotesi di indipendenza fatte sia in Statistica che in Machine Learning.

Ho dato una risposta nell'argomento recente :

Quello che facciamo è scegliere un campione con proporzioni diverse. Nell'esempio di cui sopra, sarebbero 1000 casi di "SÌ" e, ad esempio, 9000 casi di "NO". Questo approccio offre modelli più stabili. Tuttavia, deve essere testato su un campione reale (quello con 1.000.000 di righe).

Non solo offre un approccio più stabile, ma i modelli sono generalmente migliori, per quanto riguarda le misure relative all'ascensore.

Puoi cercarlo come "sovracampionamento nelle statistiche", il primo risultato è abbastanza buono: http://www.statssa.gov.za/isi2009/ScientificProgramme/IPMS/1621.pdf

Aggiungendo alla risposta di @Kay la prima strategia di soluzione: il sintetismo di minoranza sintetica ( SMOTE ) di solito fa meglio del campionamento sotto o sopra della mia esperienza, poiché penso che in qualche modo crei un compromesso tra i due. Crea campioni sintetici della classe di minoranza utilizzando i punti dati tracciati nello spazio predittore multivariato e impiega più o meno punti medi tra punti adiacenti su quello spazio per creare nuovi punti sintetici e quindi bilancia entrambe le dimensioni della classe. (non sono sicuro dei punti medi, dettagli dell'algoritmo qui