Quando i dati sbilanciati sono davvero un problema in Machine Learning?

Abbiamo già avuto più domande sui dati sbilanciati quando si utilizzano la regressione logistica , SVM , alberi delle decisioni , insaccamento e una serie di altre domande simili, ciò che lo rende un argomento molto popolare! Sfortunatamente, ciascuna delle domande sembra essere specifica dell'algoritmo e non ho trovato linee guida generali per la gestione di dati sbilanciati.

Citando una delle risposte di Marc Claesen , trattando dati sbilanciati

(...) dipende fortemente dal metodo di apprendimento. La maggior parte degli approcci per scopi generali ha uno (o più) modi per affrontarlo.

Ma quando dovremmo esattamente preoccuparci dei dati sbilanciati? Quali algoritmi sono maggiormente interessati e quali sono in grado di gestirlo? Quali algoritmi avrebbero bisogno di noi per bilanciare i dati? Sono consapevole che discutere di ciascuno degli algoritmi sarebbe impossibile sul sito di domande e risposte come questo, sto piuttosto cercando una guida generale su quando potrebbe essere un problema.

Non è una risposta diretta, ma vale la pena notare che nella letteratura statistica, alcuni dei pregiudizi contro i dati sbilanciati hanno radici storiche.

Molti modelli classici si semplificano perfettamente in base all'assunzione di dati bilanciati, in particolare per metodi come ANOVA che sono strettamente correlati alla progettazione sperimentale, una motivazione tradizionale / originale per lo sviluppo di metodi statistici.

Ma l'aritmetica statistica / probabilistica diventa piuttosto brutta, abbastanza rapidamente, con dati sbilanciati. Prima della diffusa adozione dei computer, i calcoli manuali erano così estesi che era praticamente impossibile stimare modelli su dati sbilanciati.

Naturalmente, i computer hanno sostanzialmente reso questo un problema. Allo stesso modo, possiamo stimare modelli su insiemi di dati di grandi dimensioni, risolvere problemi di ottimizzazione ad alta dimensione e trarre campioni da distribuzioni di probabilità congiunte analiticamente intrattabili, tutte funzionalmente impossibili come, cinquant'anni fa.

È un vecchio problema e gli accademici hanno impiegato molto tempo a lavorare sul problema ... nel frattempo, molti problemi applicati hanno superato / annullato quella ricerca, ma le vecchie abitudini sono dure a morire ...

Modifica per aggiungere:

Mi rendo conto di non essere uscito e di dirlo semplicemente: non c'è un problema di basso livello con l'utilizzo di dati sbilanciati. Nella mia esperienza, il consiglio di "evitare dati non bilanciati" è specifico dell'algoritmo o saggezza ereditata. Concordo con AdamO sul fatto che, in generale, i dati sbilanciati non presentano problemi concettuali a un modello ben specificato.

Con WLOG puoi concentrarti sullo squilibrio in un singolo fattore, piuttosto che su un concetto più sfumato di "scarsità di dati", o conteggi di piccole cellule.

Nelle analisi statistiche non focalizzate sull'apprendimento, troviamo spesso una potenza simile o migliore quando si usano i punteggi di propensione per abbinare il gruppo più piccolo al gruppo più grande. Ciò è in parte dovuto al fatto che il matching ha uno scopo simile all'adeguamento dei confondenti in termini di "bilanciamento" dei determinanti dell'appartenenza al gruppo, bloccandone così gli effetti di confondimento. Il fondamento logico del numero di fattori di confondimento per cui è possibile adeguarsi in un'analisi multivariata dipende dalla dimensione del campione. Alcune regole empiriche dicono una variabile ogni 10-20 osservazioni. Nei dati sbilanciati, credi ingenuamente che i tuoi dati siano sufficientemente grandi, ma con un numero limitato di persone che hanno la condizione più rara: l'inflazione della varianza diminuisce sostanzialmente il potere. In effetti, ti stai adeguando troppo.

Pertanto, almeno nella regressione (ma sospetto in ogni circostanza), l'unico problema con i dati sbilanciati è che hai effettivamente dimensioni ridotte del campione . Se un metodo è adatto al numero di persone nella classe più rara, non dovrebbero esserci problemi se la loro percentuale di membri è squilibrata.

I dati non bilanciati rappresentano solo un problema a seconda dell'applicazione. Se ad esempio i tuoi dati indicano che A accade il 99,99% delle volte e lo 0,01% delle volte B e provi a prevedere un determinato risultato, il tuo algoritmo probabilmente dirà sempre A. Questo è ovviamente corretto! È improbabile che il tuo metodo ottenga una precisione di previsione migliore del 99,99%. Tuttavia, in molte applicazioni non ci interessa solo la correttezza della previsione, ma anche il motivo per cui B si verifica a volte. È qui che i dati sbilanciati diventano un problema. Perché è difficile convincere il tuo metodo che può prevedere una correzione migliore del 99,99%. Il metodo è corretto ma non per la tua domanda. Pertanto, la risoluzione di dati sbilanciati sostanzialmente sta influenzando intenzionalmente i tuoi dati per ottenere risultati interessanti anziché risultati accurati.

In generale ci sono tre casi:

1. sei puramente interessato a previsioni accurate e pensi che i tuoi dati siano rappresentativi. In questo caso non è necessario correggere affatto, crogiolati nella gloria delle tue previsioni accurate al 99,99% :).

2. Sei interessato alla previsione, ma i tuoi dati provengono da un campione equo, ma in qualche modo hai perso un numero di osservazioni. Se hai perso le osservazioni in modo completamente casuale, stai ancora bene. Se li hai persi in modo distorto ma non sai quanto distorto, avrai bisogno di nuovi dati. Tuttavia, se queste osservazioni si perdono solo sulla base di una caratteristica. (ad esempio hai ordinato i risultati in A e B ma non in altro modo ma hai perso metà di B) Ypu può avviare il bootstrap dei tuoi dati.

3. Non sei interessato a una previsione globale accurata, ma solo in un caso raro. In questo caso è possibile gonfiare i dati di quel caso avviando il bootstrap dei dati o se si dispone di dati sufficienti che generano dati sugli altri casi. Si noti che ciò pregiudica i tuoi dati e risultati e quindi le possibilità e quel tipo di risultati sono sbagliati!

In generale, dipende principalmente dall'obiettivo. Alcuni obiettivi soffrono di dati sbilanciati, altri no. Tutti i metodi di previsione generale ne soffrono perché altrimenti darebbero risultati terribili in generale.

Supponiamo di avere due classi:

• A , che rappresenta il 99,99% della popolazione
• B , che rappresenta lo 0,01% della popolazione

Supponiamo di essere interessati all'identificazione di elementi di classe B, che potrebbero essere individui colpiti da una malattia rara o un truffatore.

Solo indovinando A gli studenti otterrebbero un punteggio elevato nelle loro funzioni di perdita e i pochissimi elementi classificati in modo errato potrebbero non muovere numericamente l'ago (in un pagliaio, in questo caso). Questo esempio porta l'intuizione dietro uno dei "trucchi" per mitigare il problema degli squilibri di classe: modificare la funzione di costo.

Sento che i dati sbilanciati sono un problema quando i modelli mostrano una sensibilità quasi zero e una specificità prossima a uno. Vedere l'esempio in questo articolo nella sezione "ignorare il problema" .

I problemi hanno spesso una soluzione. Oltre al trucco di cui sopra, ci sono altre opzioni . Tuttavia, hanno un prezzo: un aumento del modello e della complessità computazionale.

La domanda si pone quali modelli hanno maggiori probabilità di assestarsi sulla sensibilità quasi zero e sulla specificità quasi uno. Sento che dipende da alcune dimensioni:

• Meno capacità, come al solito.
• Alcune funzioni di costo potrebbero essere più difficili di altre: l'errore quadratico medio (MSE) è meno esposto di Huber - MSE dovrebbe essere meno favorevole verso elementi di classe B erroneamente classificati .

Se ci pensate: su un set di dati altamente sbilanciato perfettamente separabile, quasi tutti gli algoritmi funzioneranno senza errori.

Quindi, è più un problema di rumore nei dati e meno legato a un particolare algoritmo. E non sai in anticipo quale algoritmo compensi meglio un particolare tipo di rumore.

Alla fine devi solo provare diversi metodi e decidere per validazione incrociata.