Posso semplicemente rimuovere una delle due variabili predittive che sono altamente linearmente correlate?

Usando il coefficiente di correlazione di Pearson, ho diverse variabili altamente correlate ( e per 2 coppie di variabili che sono nel mio modello).$\rho = 0.978$$\rho = 0.989$

Il motivo per cui alcune variabili sono altamente correlate è perché una variabile viene utilizzata nel calcolo per un'altra variabile.

Esempio:

$B = V / 3000$ ed $E = V * D$

$B$ ed hanno$E$$\rho = 0.989$

È possibile per me "buttare via" una delle variabili?

Sia B che E sono derivati ​​da V. B ed E chiaramente non sono realmente variabili "indipendenti" l'una dall'altra. La variabile sottostante che conta davvero qui è V. Probabilmente in questo caso dovresti ignorare sia B che E e mantenere solo V.

In una situazione più generale, quando si hanno due variabili indipendenti che sono altamente correlate, si dovrebbe sicuramente rimuoverne una perché ci si imbatte nell'enigma della multicollinearità e i coefficienti di regressione del modello di regressione relativi alle due variabili altamente correlate saranno inaffidabili. Inoltre, in parole povere se due variabili sono così fortemente correlate, ovviamente forniranno quasi esattamente le stesse informazioni al tuo modello di regressione. Ma, includendo entrambi, si sta effettivamente indebolendo il modello. Non si stanno aggiungendo informazioni incrementali. Invece, stai infondendo rumore nel tuo modello. Non è una buona cosa.

Un modo in cui è possibile mantenere variabili altamente correlate all'interno del modello è utilizzare invece della regressione un modello di analisi dei componenti principali (PCA). I modelli PCA sono realizzati per sbarazzarsi della multicollinearità. Il compromesso è che finisci con due o tre componenti principali all'interno del tuo modello che sono spesso solo costrutti matematici e sono praticamente incomprensibili in termini logici. La PCA viene quindi spesso abbandonata come metodo ogni volta che devi presentare i tuoi risultati a un pubblico esterno come management, regolatori, ecc ... I modelli PCA creano scatole nere criptiche che sono molto difficili da spiegare.

Ecco una risposta dal punto di vista di uno studente di macchine, anche se temo che sarò battuto da veri statistici per questo.

È possibile per me "buttare via" una delle variabili?

Bene, la domanda è: che tipo di modello vuoi usare per la previsione. Dipende ad esempio da ...

• può il modello con predittori correlati? Ad esempio, sebbene NaiveBayes abbia teoricamente problemi con variabili correlate, gli esperimenti hanno dimostrato che può ancora funzionare bene.
• in che modo il modello elabora le variabili predittive? Ad esempio, la differenza tra B e V sarà normalizzata in una stima della densità di probabilità, forse la stessa per E e V a seconda della varianza di D (come già detto l'euforia)
• quale combinazione di utilizzo di B ed E (uno, nessuno, entrambi) fornisce il risultato migliore, stimato da una valorizzazione incrociata consapevole + un test su un set di controllo?

A volte noi studenti delle macchine eseguiamo persino l'ottimizzazione genetica per trovare la migliore combinazione aritmetica di un insieme di predittori.

B è una trasformazione lineare di V. E rappresenta un'interazione tra V e D. Hai considerato di specificare un modello che è Y = Intercetta + V + D + V: D? Come suggerisce @ euphoria83, sembra probabile che ci siano poche variazioni in D, quindi potrebbe non risolvere il tuo problema; tuttavia dovrebbe almeno rendere chiari i contributi indipendenti di V e D. Assicurati di centrare in anticipo sia V che D.

Se D non è una costante, allora B ed E sono effettivamente due diverse variabili a causa delle variazioni in D. L'alta correlazione indica che D è praticamente costante in tutti i dati di allenamento. In tal caso, puoi scartare B o E.