X e Y non sono correlati, ma X è un predittore significativo di Y nella regressione multipla. Cosa significa?

X e Y non sono correlati (-.01); tuttavia, quando inserisco X in una regressione multipla che prevede Y, accanto a tre (A, B, C) altre variabili (correlate), X e altre due variabili (A, B) sono predittori significativi di Y. Nota che le altre due ( Le variabili A, B) sono significativamente correlate con Y al di fuori della regressione.

Come dovrei interpretare questi risultati? X prevede una varianza unica in Y, ma poiché questi non sono correlati (Pearson), è in qualche modo difficile da interpretare.

Conosco casi opposti (ovvero, due variabili sono correlate ma la regressione non è significativa) e quelle sono relativamente più semplici da comprendere da una prospettiva teorica e statistica. Si noti che alcuni dei predittori sono abbastanza correlati (ad es., 70) ma non nella misura in cui mi aspetterei una multicollinearità sostanziale. Forse mi sbaglio, però.

NOTA: ho posto questa domanda in precedenza ed è stata chiusa. Il razionale era che questa domanda è superflua con la domanda " Come può una regressione essere significativa ma tutti i predittori non sono significativi?". Forse non capisco l'altra domanda, ma credo che si tratti di domande completamente separate, sia matematicamente che teoricamente. La mia domanda è del tutto indipendente dal fatto che" una regressione sia significativa ". Inoltre, diversi predittori sono significativi, mentre l'altra domanda implica che le variabili non siano significative, quindi non vedo la sovrapposizione. Se queste domande sono ridondanti per motivi che non capisco, si prega di inserire un commento prima di chiudere questa domanda. Inoltre, speravo di inviare un messaggio al moderatore che ha chiuso l'altro domanda per evitare domande identiche, ma non sono riuscito a trovare un'opzione per farlo.

La teoria causale offre un'altra spiegazione di come due variabili possano essere incondizionatamente indipendenti e condizionatamente dipendenti. Non sono un esperto di teoria causale e sono grato per le critiche che correggeranno eventuali errori di seguito.

Per illustrare, userò i grafici aciclici diretti (DAG). In questi grafici, i bordi ( $-$ ) tra le variabili rappresentano relazioni causali dirette. Le punte delle frecce ( $\leftarrow$ o $\rightarrow$ ) indicano la direzione delle relazioni causali. Così $A \rightarrow B$ ne deduce che $A$ provoca direttamente $B$ e $A \leftarrow B$ ne deduce che $A$ è direttamente causata da $B$ . $A \rightarrow B \rightarrow C$ è un percorso causale che deduce che $A$ causa indirettamente $C$ attraverso $B$. Per semplicità, supponiamo che tutte le relazioni causali siano lineari.

Innanzitutto, prendi in considerazione un semplice esempio di distorsione da confondente :

Qui, una semplice regressione bivariable suggerirà una dipendenza tra il $X$ e $Y$ . Tuttavia, non esiste una relazione causale diretta tra $X$ e $Y$ . Invece entrambi sono causati direttamente da $Z$ , e nella semplice regressione bivariabile, l'osservazione di $Z$ induce una dipendenza tra $X$ e $Y$ , con conseguente distorsione da confusione. Tuttavia, una regressione multivariata condizionata su $Z$ rimuoverà la polarizzazione e suggerire alcuna dipendenza tra $X$ e $Y$ .

In secondo luogo, si consideri un esempio di pregiudizio del collider (noto anche come pregiudizio di Berkson o pregiudizio berksoniano, di cui il pregiudizio di selezione è un tipo speciale):

Qui, una semplice regressione bivariable suggerirà nessuna dipendenza tra il $X$ e $Y$ . Questo concorda con DAG, che deduce alcuna relazione causale diretto tra $X$ e $Y$ . Tuttavia, un condizionamento della regressione multivariabile su $Z$ indurrà una dipendenza tra $X$ e $Y$ suggerendo che può esistere una relazione causale diretta tra le due variabili, quando in realtà non esiste. L'inclusione di $Z$ nella regressione multivariabile provoca distorsioni del collider.

In terzo luogo, considera un esempio di cancellazione accidentale:

Supponiamo che $\alpha$ , $\beta$ e $\gamma$ siano coefficienti di percorso e che $\beta = -\alpha\gamma$ . Una semplice regressione bivariable suggerirà non depenence tra il $X$ e $Y$ . Anche se $X$ è infatti una causa diretta di $Y$ , l'effetto di confondere $Z$ su $X$ e $Y$ annulla incidentalmente l'effetto di $X$ su $Y$ . Un condizionamento di regressione multivariabile su $Z$ rimuoverà l'effetto confondente di $Z$ su $X$ e$Y$ , consentendo la stima dell'effetto diretto di$X$ su$Y$ , assumendo che il DAG del modello causale sia corretto.

Riassumere:

Confonditore esempio: $X$ e $Y$ sono dipendenti nel regressione bivariable e indipendente regressione condizionata multivariabile su confonditore $Z$ .

Collider esempio: $X$ e $Y$ sono indipendenti nella regressione bivariable e dipendente in multivariabile regresssion condizionata su collisore $Z$ .

Esempio cancellazione Inicdental: $X$ e $Y$ sono indipendenti nella regressione bivariable e dipendente in multivariabile regresssion condizionata su confonditore $Z$ .

Discussione:

I risultati dell'analisi non sono compatibili con l'esempio di confondimento, ma sono compatibili sia con l'esempio del collider che con l'esempio di annullamento accidentale. Così, un potenziale spiegazione è aver erroneamente condizione che una variabile collisore nella regressione multivariabile e aver indotto un'associazione tra $X$ e $Y$ , anche se $X$ non è causa di $Y$ e $Y$ non è causa di $X$ . In alternativa, potresti aver correttamente condizionato un confondente nella tua regressione multivariabile che stava cancellando per inciso il vero effetto di $X$ su $Y$ nella tua regressione bivariabile.

Trovo che usare la conoscenza di base per costruire modelli causali sia utile quando si considerano quali variabili includere nei modelli statistici. Ad esempio, se precedenti studi randomizzati di alta qualità concludessero che $X$ causa $Z$ e $Y$ causa $Z$ , potrei dare per scontato che $Z$ è un collider di $X$ e $Y$ e non condizionarlo su un modello statistico. Tuttavia, se avessi semplicemente un'intuizione che $X$ causa $Z$ e $Y$ causa $Z$ , ma nessuna forte evidenza scientifica a sostegno della mia intuizione, potrei solo fare un debole presupposto che $Z$è un collisore di $X$ e $Y$ , poiché l'intuizione umana ha una storia di essere fuorviata. In seguito, sarei scettico di infering relazioni causali tra $X$ e $Y$ , senza ulteriori indagini delle loro relazioni causali con $Z$ . Al posto o in aggiunta alla conoscenza di base, ci sono anche algoritmi progettati per inferire modelli causali dai dati usando una serie di test di associazione (ad esempio algoritmo PC e algoritmo FCI, vedere TETRAD per l'implementazione Java, PCalgper l'implementazione di R). Questi algoritmi sono molto interessanti, ma non consiglierei di fare affidamento su di essi senza una forte comprensione del potere e dei limiti del calcolo causale e dei modelli causali nella teoria causale.

Conclusione:

La contemplazione di modelli causali non scusa l'investigatore dall'affrontare le considerazioni statistiche discusse in altre risposte qui. Tuttavia, ritengo che i modelli causali possano comunque fornire un quadro utile quando si pensa a potenziali spiegazioni per la dipendenza statistica osservata e l'indipendenza nei modelli statistici, specialmente quando si visualizzano potenziali confondenti e collider.

Ulteriori letture:

Gelman, Andrew. 2011. " Causalità e apprendimento statistico ". Am. J. Sociology 117 (3) (novembre): 955-966.

Groenlandia, S, J Pearl e JM Robins. 1999. " Diagrammi causali per la ricerca epidemiologica ". Epidemiologia (Cambridge, Mass.) 10 (1) (gennaio): 37–48.

Groenlandia, Sander. 2003. " Quantificazione dei pregiudizi nei modelli causali: confusione classica contro distorsioni da stratificazione collider ." Epidemiologia 14 (3) (1 maggio): 300–306.

Perla, Giudea. 1998. Perché non esiste un test statistico per la confusione, perché molti pensano che esista e perché hanno quasi ragione .

Perla, Giudea. 2009. Causalità: modelli, ragionamento e inferenza . 2a ed. Cambridge University Press.

Spirtes, Peter, Clark Glymour e Richard Scheines. 2001. Causazione, previsione e ricerca , seconda edizione. Un libro di Bradford.

Aggiornamento: Judea Pearl discute la teoria dell'inferenza causale e la necessità di incorporare l'inferenza causale nei corsi di statistica introduttiva nell'edizione di novembre 2012 di Amstat News . Interessante anche la sua conferenza sul Premio Turing , intitolata "La meccanizzazione dell'inferenza causale: un test di Turing" mini "e oltre".

Penso che l'approccio di @ jthetzel sia quello giusto (+1). Per interpretare questi risultati dovrai pensare / avere una teoria del perché le relazioni si manifestino mentre lo fanno. Cioè, dovrai pensare al modello delle relazioni causali che sta alla base dei tuoi dati. È necessario riconoscere che, come sottolinea @jthetzel, i risultati sono coerenti con diversi processi di generazione dei dati. Non credo che qualsiasi quantità di ulteriori test statistici sullo stesso set di dati consentirà di distinguere tra queste possibilità (anche se ulteriori esperimenti potrebbero certamente). Quindi, pensare duro a ciò che si sa sull'argomento è vitale qui.

Voglio sottolineare un'altra possibile situazione di fondo che potrebbe generare risultati come il tuo: la soppressione . Questo è più difficile da illustrare usando i diagrammi a freccia, ma se posso aumentarli leggermente, potremmo pensarlo in questo modo:

$\text{Other Variable}$$\text{U}$$\text{R}$$\text{Suppressor}$$\text{Y}$$\text{Other Variable}$$\text{Suppressor}$$\text{Y}$$\text{Suppressor}$$\text{Other Variable}$ in questa situazione (e quindi, ancora una volta, è necessario pensare a quale modello sottostante potrebbe basarsi sulla propria conoscenza dell'area).

$\text{Suppressor}$$\text{Y}$$\text{Other Variable}$$\text{Y}$

set.seed(888)                            # for reproducibility

S  =         rnorm(60, mean=0, sd=1.0)   # the Suppressor is normally distributed
U  = 1.1*S + rnorm(60, mean=0, sd=0.1)   # U (unrelated) is Suppressor plus error
R  =         rnorm(60, mean=0, sd=1.0)   # related part; normally distributed
OV = U + R                               # the Other Variable is U plus R
Y  = R +     rnorm(60, mean=0, sd=2)     # Y is R plus error

cor.test(S, Y)                           # Suppressor uncorrelated w/ Y
# t = 0.0283, df = 58, p-value = 0.9775
# cor 0.003721616 

cor.test(S, OV)                          # Suppressor correlated w/ Other Variable
# t = 8.655, df = 58, p-value = 4.939e-12
# cor 0.7507423

cor.test(OV,Y)                           # Other Var not significantly cor w/ Y
# t = 1.954, df = 58, p-value = 0.05553
# cor 0.2485251

summary(lm(Y~OV+S))                      # both Suppressor & Other Var sig in mult reg
# Coefficients:
#              Estimate Std. Error t value Pr(>|t|)   
# (Intercept)   0.2752     0.2396   1.148  0.25557   
# OV            0.7232     0.2390   3.026  0.00372 **
# S            -0.7690     0.3415  -2.251  0.02823 * 

Il mio punto qui non è che questa situazione è quella alla base dei tuoi dati. Non so se questo sia più o meno probabile di quanto suggeriscano le opzioni di @jthetzel. Offro questo solo come ulteriore spunto di riflessione. Per interpretare i risultati attuali, è necessario pensare a queste possibilità e decidere ciò che ha più senso. Per confermare la tua scelta, sarà necessaria un'attenta sperimentazione.

Solo qualche visualizzazione che è possibile.

Nell'immagine (a) è mostrata una situazione regressiva "normale" o "intuitiva". Questa immagine è la stessa di quella trovata (e spiegata) qui o qui .

$Y'$$\hat Y$$b$

$b_1$$b_2$$X_1$$X_2$

$X_1$$Y$$Y'$$X_1$$Y'$$X_2$

$X_1$$Y$$X_1$

Dati e analisi corrispondenti approssimativamente alla figura (b):

       y       x1       x2
1.644540 1.063845  .351188
1.785204 1.203146  .200000
-1.36357 -.466514 -.961069
 .314549 1.175054  .800000
 .317955  .100612  .858597
 .970097 2.438904 1.000000
 .664388 1.204048  .292670
-.870252 -.993857 -1.89018
1.962192  .587540 -.275352
1.036381 -.110834 -.246448
 .007415 -.069234 1.447422
1.634353  .965370  .467095
 .219813  .553268  .348095
-.285774  .358621  .166708
1.498758 -2.87971 -1.13757
1.671538 -.310708  .396034
1.462036  .057677 1.401522
-.563266  .904716 -.744522
 .297874  .561898 -.929709
-1.54898 -.898084 -.838295

Dati e analisi corrispondenti approssimativamente alla foto (c):

       y       x1       x2
1.644540 1.063845  .351188
1.785204 -1.20315  .200000
-1.36357 -.466514 -.961069
 .314549 1.175054  .800000
 .317955 -.100612  .858597
 .970097 1.438904 1.000000
 .664388 1.204048  .292670
-.870252 -.993857 -1.89018
1.962192 -.587540 -.275352
1.036381 -.110834 -.246448
 .007415 -.069234 1.447422
1.634353  .965370  .467095
 .219813  .553268  .348095
-.285774  .358621  .166708
1.498758 -2.87971 -1.13757
1.671538 -.810708  .396034
1.462036 -.057677 1.401522
-.563266  .904716 -.744522
 .297874  .561898 -.929709
-1.54898 -1.26108 -.838295

$X_1$$Y$$-.224$$X_2$$.419$$.538$

Concordo con la risposta precedente, ma spero di poter contribuire fornendo maggiori dettagli.

$X$$Y$$x$$y$

$Y = a + \beta x + u$

$\hat \rho_{yx} = \hat \beta \hat\sigma_x/\hat\sigma_y$

$Y$

$Y = a + \beta x + \sum_j\alpha_jz_j + u$

$\beta$$z_j$$\rho$$\rho_{xy|z}$$z_j$