Variabili collineari nella formazione Multiclass LDA

Sto addestrando un classificatore LDA multi-classe con 8 classi di dati.

Durante l'allenamento, ricevo un avviso di: "Le variabili sono collineari "

Sto ottenendo una precisione di allenamento superiore al 90% .

Sto usando la libreria scikits-learn in Python per addestrare e testare i dati multi-classe.

Ottengo anche una discreta precisione di test (circa l' 85% -95% ).

Non capisco cosa significhi l'errore / avviso. Per favore aiutatemi.

Multicollinearità significa che i tuoi predittori sono correlati. Perché è così male?

Perché LDA, come le tecniche di regressione, comporta il calcolo di un'inversione di matrice, che è inaccurata se il determinante è vicino a 0 ( ovvero due o più variabili sono quasi una combinazione lineare l'una dell'altra).

Ancora più importante, rende impossibile interpretare i coefficienti stimati. Se un aumento di , per esempio, è associato ad una diminuzione nel X 2 ed entrambi aumento variabile Y , ogni cambio di X 1 sarà compensata da un cambiamento di X 2 e si sottovaluti l'effetto di X 1 su Y . In LDA, sottovaluteresti l'effetto di X 1 sulla classificazione.$X_1$$X_2$$Y$$X_1$$X_2$$X_1$$Y$$X_1$

Se tutto ciò che ti interessa è la classificazione in sé e che dopo aver allenato il tuo modello su metà dei dati e averlo testato sull'altra metà, ottieni una precisione dell'85-95%, direi che va bene.

Siccome penso che gui11aume ti abbia dato un'ottima risposta, voglio fare un esempio da un'angolazione leggermente diversa che potrebbe essere illuminante. Considera che una covariata nella tua funzione discriminante ha il seguente aspetto:

$X_1= 5X_2 +3X_3 -X_4$.

Suppose the best LDA has the following linear boundary:

$X_1+2X_2+X_3-2X_4 =5$

Then we can substitute $5X_2+3X_3-X_4$ for $X_1$ n the LDA boundary equation, so:

$5X_2+3X_3-X_4+2X_2+X_3-2X_4=5$

or

$7X_2+4X_3-3X_4=5$.

These two boundaries are identical but the first one has coefficients $1, 2, 1,-2$ for $X_1$, $X_2$, $X_3$, and $X_4$ respectively, while the other has coefficients $0, 7, 3, -1$.

So the coefficient are quite different but the two equations give the same boundary and identical prediction rule. If one form is good the other is also. But now you can see why gui11ame says the coefficients are uninterpretable.

There are several other ways to express this boundary as well by substituting for $X_2$ to give it the $0$ coefficient and the same could be done for $X_3$ or $X_4$. Ma in pratica la collinearità è approssimativa. Ciò peggiora le cose perché il rumore consente una risposta unica. Lievissime perturbazioni dei dati faranno cambiare drasticamente i coefficienti. Ma per la previsione stai bene perché ogni equazione definisce quasi lo stesso limite e quindi LDA si tradurrà in previsioni quasi identiche.

Mentre la risposta che è stata contrassegnata qui è corretta, penso che stavi cercando una spiegazione diversa per scoprire cosa è successo nel tuo codice. Ho avuto lo stesso identico problema nell'esecuzione di un modello.

Ecco cosa sta succedendo: stai addestrando il tuo modello con la variabile prevista come parte del tuo set di dati. Ecco un esempio di ciò che mi stava accadendo senza nemmeno accorgermene:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL3']
train_X = train[train.columns[:-1]]

In questo codice, voglio prevedere il valore di "COL3" ... ma, se guardi train_X, gli dico di recuperare ogni colonna tranne l'ultima, quindi sta introducendo COL1 COL2 e COL3, non COL4, e cercando di prevedere COL3 che fa parte di train_X.

Ho corretto questo semplicemente spostando le colonne, spostando manualmente COL3 in Excel per essere l'ultima colonna nel mio set di dati (ora in corso di COL4), quindi:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL4']
train_X = train[train.columns[:-1]]

Se non vuoi spostarlo in Excel e vuoi farlo semplicemente per codice, allora:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL3']
train_X = train[train.columns['COL1','COL2','COL4']]

Nota ora come ho dichiarato train_X, per includere tutte le colonne tranne COL3, che fa parte di train_Y.

Spero che aiuti.