Supponiamo che abbiamo un problema di classificazione binaria con caratteristiche per lo più categoriche. Usiamo alcuni modelli non lineari (ad esempio XGBoost o Random Forests) per impararlo.
Risposte:
La collinearità multipla non sarà un problema per alcuni modelli. Come foresta casuale o albero decisionale. Ad esempio, se abbiamo due colonne identiche, l'albero decisionale / foresta casuale "rilascerà" automaticamente una colonna per ogni divisione. E il modello funzionerà ancora bene.
Inoltre, la regolarizzazione è un modo per "risolvere" il problema della collinearità multipla. La mia risposta I metodi di regolarizzazione per la regressione logistica forniscono dettagli.
In ritardo alla festa, ma qui c'è comunque la mia risposta, ed è "Sì", bisogna sempre preoccuparsi della collinearità, indipendentemente dal fatto che il modello / metodo sia lineare o meno, o che il compito principale sia la previsione o la classificazione.
Supponiamo che un numero di covariate / funzioni linearmente correlate presenti nel set di dati e nella foresta casuale come metodo. Ovviamente, la selezione casuale per nodo può scegliere solo (o per lo più) caratteristiche collineari che possono / comporteranno una divisione scadente e ciò può avvenire ripetutamente, influenzando negativamente le prestazioni.
Ora, le caratteristiche collineari potrebbero essere meno informative del risultato rispetto alle altre caratteristiche (non collineari) e come tali dovrebbero essere comunque considerate per l'eliminazione dalla serie di funzioni. Tuttavia, supponiamo che le funzionalità siano classificate in alto nell'elenco "importanza delle funzionalità" prodotto da RF. Come tali verrebbero mantenuti nel set di dati aumentando inutilmente la dimensionalità. Quindi, in pratica, controllerei sempre, come passo esplorativo (su molti correlati) l'associazione a coppie delle caratteristiche, inclusa la correlazione lineare.
Se il modello non lineare è un modello basato su albero, non dovresti considerarlo serio. Diversi modelli di alberi avranno un metodo di offerta diverso, come la foresta casuale li manterrà entrambi (perché costruiscono l'albero in modo indipendente e selezionano casualmente la funzione per ogni albero), ma non ha alcun effetto sulle prestazioni di previsione, anche se rimuovi il ridondante. Ma per xgboost, sceglierà qualcuno di loro e lo userà fino all'ultima build dell'albero.
Si tratta solo del significato dell'interpretazione, quindi si consiglia di rimuovere la variabile altamente correlata.
La multi-collinearità è sempre un possibile problema. Le variabili che sono predittori nel modello influenzeranno la previsione quando sono linearmente correlate (cioè quando è presente la collinearità).