Multicollinearità quando le regressioni individuali sono significative, ma i VIF sono bassi

Ho 6 variabili ( ) che sto usando per prevedere . Durante l'esecuzione della mia analisi dei dati, ho prima provato una regressione lineare multipla. Da questo, solo due variabili erano significative. Tuttavia, quando ho eseguito una regressione lineare confrontando ciascuna variabile singolarmente con , tutte tranne una erano significative ( ovunque da meno di 0,01 a meno di 0,001). È stato suggerito che ciò fosse dovuto alla multicollinearità.$x_{1}...x_{6}$$y$$y$$p$

La mia ricerca iniziale su questo suggerisce di verificare la multicollinearità usando i VIF . Ho scaricato il pacchetto appropriato da R e ho finito con i VIF risultanti: 3.35, 3.59, 2.64, 2.24 e 5.56. Secondo varie fonti online, il punto che dovresti preoccupare della multicollinearità con i tuoi VIF è a 4 o 5.

Ora sono sconcertato sul significato dei miei dati. Posso o non ho un problema di multicollinearità? Se lo faccio, come devo procedere? (Non riesco a raccogliere più dati e le variabili sono parti di un modello che non sono ovviamente correlate) Se non ho questo problema, cosa dovrei prendere dai miei dati, in particolare il fatto che queste variabili sono altamente significative individualmente, ma non significativo affatto quando combinato.

Modifica: sono state poste alcune domande relative al set di dati, quindi vorrei espandere ...

In questo caso particolare, stiamo cercando di capire come specifici segnali sociali (gesto, sguardo, ecc.) Influenzano la probabilità che qualcuno produca qualche altro indizio. Vorremmo che il nostro modello includesse tutti gli attributi significativi, quindi mi sento a disagio nel rimuoverne alcuni che sembrano ridondanti.

Non ci sono ipotesi con questo in questo momento. Piuttosto, il problema non è studiato e stiamo cercando di comprendere meglio quali attributi sono importanti. Per quanto ne so, questi attributi dovrebbero essere relativamente indipendenti l'uno dall'altro (non si può semplicemente dire che lo sguardo e i gesti sono gli stessi, o uno il sottoinsieme di un altro). Sarebbe bello poter riportare i valori di p per tutto, dal momento che vorremmo che altri ricercatori capissero cosa è stato visto.

Modifica 2: Da quando è arrivato da qualche parte in basso, il mio è 24.$n$

Per capire cosa può succedere, è istruttivo generare (e analizzare) dati che si comportano nel modo descritto.

Per semplicità, dimentichiamoci di quella sesta variabile indipendente. Quindi, la domanda descrive le regressioni di una variabile dipendente rispetto a cinque variabili indipendenti x 1 , x 2 , x 3 , x 4 , x 5 , in cui$y$$x_1, x_2, x_3, x_4, x_5$

• Ogni regressione ordinaria è significativa a livelli da 0,01 a meno di 0,001 .$y \sim x_i$$0.01$$0.001$

• La regressione multipla produce coefficienti significativi solo per x 1 e x 2 .$y \sim x_1 + \cdots + x_5$$x_1$$x_2$

• Tutti i fattori di inflazione della varianza (VIF) sono bassi, indicando un buon condizionamento nella matrice del progetto (ovvero mancanza di collinearità tra la ).$x_i$

Facciamo in modo che ciò accada come segue:

1. Genera valori normalmente distribuiti per x 1 e x 2 . (Sceglieremo n più tardi.)$n$$x_1$$x_2$$n$

2. Sia dove ε è un errore normale indipendente della media 0 . Sono necessari alcuni tentativi ed errori per trovare una deviazione standard adatta per ε ; 1 / 100 funziona bene (ed è piuttosto drammatica: y è estremamente ben correlata con x 1 e x 2 , anche se è solo moderatamente correlato con x 1 e x 2 singolarmente).$y = x_1 + x_2 + \varepsilon$$\varepsilon$$0$$\varepsilon$$1/100$$y$$x_1$$x_2$$x_1$$x_2$

3. Let = x 1 / 5 + δ , j = 3 , 4 , 5 , dove δ è errore normale standard indipendente. Questo rende x 3 , x 4 , x 5 solo leggermente dipendente da x 1 . Tuttavia, tramite la stretta correlazione tra x 1 e y , ciò induce una minuscola correlazione tra y e questi x j .$x_j$$x_1/5 + \delta$$j=3,4,5$$\delta$$x_3,x_4,x_5$$x_1$$x_1$$y$$y$$x_j$

Ecco il problema: se rendiamo abbastanza grande, queste lievi correlazioni si tradurranno in coefficienti significativi, anche se y è quasi interamente "spiegato" solo dalle prime due variabili.$n$$y$

Ho scoperto che funziona perfettamente per la riproduzione dei valori p riportati. Ecco una matrice scatterplot di tutte e sei le variabili:$n=500$

Ispezionando la colonna di destra (o la riga in basso) si può vedere che ha una buona (positiva) correlazione con x 1 e x 2 ma poca correlazione apparente con le altre variabili. Ispezionando il resto di questa matrice, puoi vedere che le variabili indipendenti x 1 , ... , x 5 sembrano mutuamente non correlate (il casuale $y$$x_1$$x_2$$x_1, \ldots, x_5$$\delta$mascherare le minuscole dipendenze che sappiamo siano lì.) Non ci sono dati eccezionali - niente di terribilmente estraneo o con una leva elevata. Gli istogrammi mostrano che tutte e sei le variabili sono approssimativamente distribuite normalmente, tra l'altro: questi dati sono ordinari e "semplici vaniglia" come si potrebbe desiderare.

Nella regressione di contro x 1 e x 2 , i valori di p sono essenzialmente 0. Nelle regressioni individuali di y contro x 3 , quindi y contro x 4 e y contro x 5 , i valori di p sono 0,0024, 0,0083 e 0.00064, rispettivamente: cioè, sono "altamente significativi". Ma nella regressione multipla completa, i corrispondenti valori p si gonfiano rispettivamente a .46, .36 e .52: per nulla significativi. La ragione di ciò è che una volta che y è stato regredito rispetto a x 1 e $y$$x_1$$x_2$$y$$x_3$$y$$x_4$$y$$x_5$$y$$x_1$ , l'unica cosa rimasta da "spiegare" è la minuscola quantità di errore nei residui, che approssimerà ε , e questo errore è quasi completamente estraneo alla restante x i . ("Quasi" è corretto: esiste una relazione davvero minuscola indotta dal fatto che i residui sono stati calcolati in parte dai valori di x 1 e x 2 e che x i , i = 3 , 4 , 5 , hanno qualche debole relazione con x 1 e x 2. Questa relazione residua è praticamente non rilevabile, tuttavia, come abbiamo visto.)$x_2$$\varepsilon$$x_i$$x_1$$x_2$$x_i$$i=3,4,5$$x_1$$x_2$

Il numero di condizionamento della matrice di progettazione è solo 2,17: è molto basso e non mostra alcuna indicazione di elevata multicollinearità. (La perfetta mancanza di collinearità si rifletterebbe in un numero di condizionamento di 1, ma in pratica questo si vede solo con dati artificiali ed esperimenti progettati. I numeri di condizionamento nell'intervallo 1-6 (o anche superiore, con più variabili) sono irrilevanti.) Questo completa la simulazione: ha riprodotto con successo ogni aspetto del problema.

Gli approfondimenti importanti offerti da questa analisi includono

1. i valori p non ci dicono direttamente nulla sulla collinearità. Dipendono fortemente dalla quantità di dati.

2. Le relazioni tra i valori di p nelle regressioni multiple e i valori di p nelle regressioni correlate (che coinvolgono sottoinsiemi della variabile indipendente) sono complesse e generalmente imprevedibili.

Di conseguenza, come altri hanno sostenuto, i valori di p non dovrebbero essere la tua unica guida (o anche la tua guida principale) alla selezione del modello.

modificare

Non è necessario che sia grande quanto 500 perché compaiano questi fenomeni. $n$$500$ Ispirato da ulteriori informazioni nella domanda, il seguente è un set di dati costruito in modo simile con (in questo caso x j = 0,4 x 1 + 0,4 x 2 + δ per j = 3 , 4 , 5 ). Questo crea correlazioni da 0,38 a 0,73 tra x 1 - 2 e x 3 - $n=24$$x_j = 0.4 x_1 + 0.4 x_2 + \delta$$j=3,4,5$$x_{1-2}$$x_{3-5}$. Il numero di condizione della matrice di progettazione è 9,05: un po 'alto, ma non terribile. (Alcune regole empiriche dicono che i numeri delle condizioni fino a 10 sono ok.) I valori p delle singole regressioni rispetto a sono 0,002, 0,015 e 0,008: da significativi a molto significativi. Pertanto, è coinvolta una certa multicollinearità, ma non è così grande che si dovrebbe lavorare per cambiarla. L'intuizione di base rimane la stessa$x_3, x_4, x_5$: significato e multicollinearità sono cose diverse; vi sono solo lievi vincoli matematici; ed è possibile che l'inclusione o l'esclusione anche di una singola variabile abbia effetti profondi su tutti i valori p anche senza che la multicollinearità grave sia un problema.

x1 x2 x3 x4 x5 y
-1.78256    -0.334959   -1.22672    -1.11643    0.233048    -2.12772
0.796957    -0.282075   1.11182 0.773499    0.954179    0.511363
0.956733    0.925203    1.65832 0.25006 -0.273526   1.89336
0.346049    0.0111112   1.57815 0.767076    1.48114 0.365872
-0.73198    -1.56574    -1.06783    -0.914841   -1.68338    -2.30272
0.221718    -0.175337   -0.0922871  1.25869 -1.05304    0.0268453
1.71033 0.0487565   -0.435238   -0.239226   1.08944 1.76248
0.936259    1.00507 1.56755 0.715845    1.50658 1.93177
-0.664651   0.531793    -0.150516   -0.577719   2.57178 -0.121927
-0.0847412  -1.14022    0.577469    0.694189    -1.02427    -1.2199
-1.30773    1.40016 -1.5949 0.506035    0.539175    0.0955259
-0.55336    1.93245 1.34462 1.15979 2.25317 1.38259
1.6934  0.192212    0.965777    0.283766    3.63855 1.86975
-0.715726   0.259011    -0.674307   0.864498    0.504759    -0.478025
-0.800315   -0.655506   0.0899015   -2.19869    -0.941662   -1.46332
-0.169604   -1.08992    -1.80457    -0.350718   0.818985    -1.2727
0.365721    1.10428 0.33128 -0.0163167  0.295945    1.48115
0.215779    2.233   0.33428 1.07424 0.815481    2.4511
1.07042 0.0490205   -0.195314   0.101451    -0.721812   1.11711
-0.478905   -0.438893   -1.54429    0.798461    -0.774219   -0.90456
1.2487  1.03267 0.958559    1.26925 1.31709 2.26846
-0.124634   -0.616711   0.334179    0.404281    0.531215    -0.747697
-1.82317    1.11467 0.407822    -0.937689   -1.90806    -0.723693
-1.34046    1.16957 0.271146    1.71505 0.910682    -0.176185

Posso o non ho un problema di multicollinearità? Se lo faccio, come devo procedere?

Non è una situazione o. E sono scettico sulla linea guida "4 o 5". Per ciascuno dei tuoi predittori, l'errore standard del coefficiente è compreso tra 2,2 e 5,6 volte più grande di quanto sarebbe se il predittore non fosse correlato con gli altri. E la porzione di un determinato predittore che non può essere spiegata dagli altri va da 1 / 2,2 a 1 / 5,6 o dal 18% al 45%. Complessivamente, sembra una quantità abbastanza notevole di collinearità.

Ma facciamo un passo indietro per un minuto. Stai davvero cercando di prevedere * Y *, invece di cercare di spiegarlo ? Se la prima, allora non suppongo che abbiate bisogno di cure se il livello di significatività di una data variabile cambia quando altre sono presenti nel modello. Il tuo lavoro è davvero molto più semplice di quanto sarebbe se fosse necessaria una vera spiegazione.

Se la spiegazione è il tuo obiettivo, dovrai considerare il modo in cui queste variabili si collegano, cosa che richiede più di informazioni statistiche. Chiaramente si sovrappongono in modo si riferiscono a Y , e questo collinearità renderà difficile stabilire, ad esempio, il loro ordine rango di importanza per la contabilizzazione di Y . In questa situazione non esiste un percorso chiaro da seguire.

In ogni caso, spero che stiate prendendo in considerazione metodi di crossvalidation.

Hai multicollinearità. La tua analisi iniziale lo ha dimostrato. Per quanto sia un problema, questa è un'altra domanda che sembra avere molte risposte nel tuo caso.

Forse se hai risolto meglio il problema di base sarebbe più ovvio cosa fare? ...

Con la multicollinearità i tuoi coefficienti di regressione riguardano i contributi unici (ben più vicini agli unici) di ciascuna variabile al tuo modello. Se alcuni sono correlati tra loro, allora ciascun contributo unico di ciascuno correlato è minore. Questo è probabilmente in parte il motivo per cui nessuno è significativo quando sono tutti insieme, ma se usati da soli possono esserlo.

La prima cosa che probabilmente devi fare è considerare cosa significa l'intercorrelazione tra le tue variabili. Ad esempio, hai un sacco di variabili che rappresentano solo la stessa cosa? Ti è capitato di misurare i tuoi predittori su scala ridotta e ottenere correlazioni accidentali? Non provare a correggere la regressione, prova a capire le tue variabili.

Considera X1 e X2 con una correlazione molto forte tra loro, diciamo r = 0.90. Se si inserisce X1 nel modello ed è un predittore significativo, anche un altro modello con X2 da solo sarà molto significativo perché sono quasi la stessa cosa. Se li metti insieme nel modello, almeno uno di loro deve soffrire perché la regressione multipla risolverà i loro contributi unici. Entrambi potrebbero non essere significativi. Ma non è questo il punto, il punto è riconoscere perché si sovrappongono così tanto e se addirittura dicono qualcosa di diverso l'uno dall'altro e se ne hai bisogno o no? Forse uno esprime un'idea più significativa e più correlata alla tua variabile di risposta rispetto all'altra. Forse concluderai che sono la stessa cosa con diversi livelli di variabilità.

Inoltre, quando si guardano modelli di qualsiasi tipo, ma soprattutto con predittori intercorrelati, i valori p sono un modo terribile per dire se un nuovo predittore fornisce un contributo significativo (se è quello che stai cercando di fare ... non sei sicuro di cosa tu stai cercando di farlo perché sembra che tu stia solo cercando di rendere la regressione o A) semplice o B) uscire nel modo desiderato ... nessuno dei due è fattibile). Probabilmente è meglio guardare AIC per aiutarti a determinare quali predittori dovresti tenere e quali non contribuiscono a nulla.

Personalmente, utilizzerei gli indici delle condizioni e la tabella spiegata della varianza per analizzare la collinearità.

Inoltre non userei i valori di p come criterio per la costruzione del modello e, confrontando i modelli con 6 IV con i modelli con 1, osserverei le modifiche nella dimensione dell'effetto del parametro per la variabile che è entrambe.

Ma puoi sicuramente avere i risultati che menzioni senza collinearità. La collinearità riguarda solo le variabili X e la loro relazione. Ma due variabili potrebbero entrambe essere fortemente correlate a Y senza essere strettamente correlate l'una all'altra.

Per quanto riguarda la multicollinearità, vengono menzionate varie soglie che di solito convergono attorno a un VIF di 10 corrispondente a un valore R Square sottostante di 0,90 tra la variabile testata rispetto alle altre variabili indipendenti. I VIF delle tue variabili sembrano accettabili e potresti tecnicamente tenerli in un modello.

Tuttavia, vorrei utilizzare un metodo di regressione graduale per vedere quali sono la migliore combinazione di variabili e quanta più spiegazione (aumento incrementale in R Square) ottieni aggiungendo variabili. Il benchmark arbitrario dovrebbe essere il valore del quadrato R rettificato che regola il valore del quadrato R verso il basso penalizzando il modello per l'aggiunta di variabili.

Le tue variabili sono in qualche modo correlate tra loro. Questo è inevitabile, è solo una questione di laurea. Dati i VIF che menzioni, sospetto intuitivamente che otterrai la maggior parte delle informazioni / spiegazioni dalla migliore combinazione di 2 variabili. Inoltre, l'aggiunta di variabili può aggiungere solo un valore incrementale marginale.

Quando osservo la combinazione di variabili che sono selezionate dal processo di regressione graduale, guarderei anche quali variabili sono selezionate e se i loro segni di coefficiente di regressione sono coerenti con la loro correlazione con y. In caso contrario, potrebbe essere dovuto a un'interazione legittima tra le variabili. Ma potrebbe anche essere il risultato di un eccessivo adattamento del modello e che i coefficienti di regressione siano spuri. Riflettono un adattamento matematico, ma sono privi di significato in termini di causalità sottostante.

Un altro modo per selezionare le variabili è decidere dal punto di vista logico quali sono le 2 o 3 variabili principali che dovrebbero essere nel modello. Inizi con quelli e poi controlli quante più informazioni ottieni aggiungendo una variabile. Controllare il rettangolo R rettificato, la coerenza del coefficiente di regressione rispetto alla regressione originale e ovviamente testare tutti i modelli con periodo di attesa. Molto presto, sarà evidente qual è il tuo modello migliore.

If your explanatory variables are count data, and it is not unreasonable to assume that they are normally distributed, you can transform them into standard normal variates using the R scale command. Doing this can reduce the collinearity. But that will probably not solve the whole problem.

A useful batch of R commands for analyzing and dealing with collinearity are found on Florian Jaeger's blog, including:

z. <- function (x) scale(x)
r. <- function (formula, ...) rstandard(lm(formula, ...))

The z. function converts a vector into a standard normal variate. The r. function returns standardized residuals for regressing one predictor against another. You can use this to effectively divide the model deviance into different tranches so that only some variables have access to the most senior tranche, then the next tranche will be offered to residualized variables. (Sorry for my homespun terminology) So if a model of the form

Y ~ A + B

suffers from multicollinearity, then you can run either of

Y ~ A + r.(B)
Y ~ r.(A) + B

so that only the residuals of the "junior tranche" variable (when regressed against the "senior tranche" variable) are fitted to the model. This way, you are shielded from multicollinearity, but have a more complicated set of parameters to report.