Le variabili altamente correlate nella foresta casuale distorcono la precisione e la selezione delle caratteristiche?

A mio avviso, le variabili altamente correlate non causeranno problemi di multi-collinearità nel modello di foresta casuale (correggimi se sbaglio). Tuttavia, in caso contrario, se ho troppe variabili contenenti informazioni simili, il modello peserà troppo su questo set piuttosto che sugli altri?

Ad esempio, ci sono due serie di informazioni (A, B) con lo stesso potere predittivo. Le variabili , X 2 , ... X 1000 contengono tutte le informazioni A e solo Y contiene le informazioni B. Quando le variabili di campionamento casuali, la maggior parte degli alberi crescerà sulle informazioni A e, di conseguenza, le informazioni B non vengono catturate completamente?$X_1$$X_2$$X_{1000}$

Ciò è corretto, ma quindi nella maggior parte dei sottocampionamenti in cui era disponibile la variabile Y, si produrrebbe la migliore divisione possibile.

Puoi provare ad aumentare la quantità di funghi, per assicurarti che ciò accada più spesso.

Puoi provare una potatura di correlazione ricorsiva, ovvero a sua volta rimuovere una delle due variabili che insieme hanno la correlazione più alta. Una soglia ragionevole per fermare questa potatura potrebbe essere che qualsiasi coppia di correlazioni (pearson) è inferiore a $R^2<.7$

Puoi provare la potatura ricorsiva di importanza variabile, che a sua volta viene rimossa, ad esempio il 20% con importanza variabile più bassa. Prova ad esempio rfcv dal pacchetto randomForest.

Puoi provare a decomporre / aggregare le tue variabili ridondanti.

Vecchio thread, ma non sono d'accordo con un'affermazione generale che la collinearità non è un problema con i modelli di foresta casuali. Quando il set di dati ha due (o più) funzionalità correlate, quindi dal punto di vista del modello, è possibile utilizzare come predittore una qualsiasi di queste funzionalità correlate, senza una preferenza concreta dell'una rispetto alle altre.

Tuttavia, una volta che uno di essi viene utilizzato, l'importanza di altri viene notevolmente ridotta poiché effettivamente l'impurità che possono rimuovere è già rimossa dalla prima funzione.

Di conseguenza, avranno un'importanza inferiore. Questo non è un problema quando vogliamo usare la selezione delle funzionalità per ridurre il sovra-adattamento, poiché ha senso rimuovere le funzioni che sono per lo più duplicate da altre funzioni, ma quando si interpretano i dati , può portare alla conclusione errata che una delle variabili sia un forte predittore mentre gli altri nello stesso gruppo non sono importanti, mentre in realtà sono molto vicini in termini di relazione con la variabile di risposta.

L'effetto di questo fenomeno è in qualche modo ridotto grazie alla selezione casuale di funzionalità in corrispondenza della creazione di ciascun nodo, ma in generale l'effetto non viene rimosso completamente.

Quanto sopra per lo più paralizzato da qui: Selezione di buone funzionalità