Coefficienti di regressione che capovolgono il segno dopo aver incluso altri predittori

Immaginare

• Si esegue una regressione lineare con quattro predittori numerici (IV1, ..., IV4)
• Quando è incluso solo IV1 come predittore, la beta standardizzata è +.20
• Quando si include anche IV2 a IV4, il segno del coefficiente di regressione standardizzato di IV1 si ribalta -.25(ovvero diventa negativo).

Ciò fa sorgere alcune domande:

• Per quanto riguarda la terminologia, lo definisci un "effetto soppressore"?
• Quali strategie useresti per spiegare e comprendere questo effetto?
• Hai qualche esempio di tali effetti nella pratica e come hai spiegato e compreso questi effetti?

La multicollinearità è il solito sospetto come menzionato da JoFrhwld. Fondamentalmente, se le variabili sono correlate positivamente, i coefficienti saranno correlati negativamente, il che può portare a un segno sbagliato su uno dei coefficienti.

Un controllo sarebbe quello di eseguire una regressione dei componenti principali o una regressione della cresta. Ciò riduce la dimensionalità dello spazio di regressione, gestendo la multicollinearità. Si finisce con stime distorte ma un MSE forse inferiore e segni corretti. Che tu vada con quei risultati particolari o meno, è un buon controllo diagnostico. Se ricevi ancora modifiche ai segni, potrebbe essere teoricamente interessante.

AGGIORNARE

A seguito del commento nella risposta di John Christie, questo potrebbe essere interessante. L'inversione in associazione (grandezza o direzione) sono esempi di Paradosso di Simpson, Paradosso di Lord ed Effetti di soppressione. Le differenze riguardano essenzialmente il tipo di variabile. È più utile capire il fenomeno sottostante piuttosto che pensare in termini di un particolare "paradosso" o effetto. Per una prospettiva causale, l'articolo che segue spiega bene perché e citerò a lungo la loro introduzione e conclusione per stimolare il tuo appetito.

• Il ruolo del ragionamento causale nella comprensione del paradosso di Simpson, del paradosso di Lord e dell'effetto di soppressione: selezione della covariata nell'analisi degli studi osservazionali

Tu et al presentano un'analisi dell'equivalenza di tre paradossi, concludendo che tutti e tre ripetono semplicemente il cambiamento non sorprendente dell'associazione di due variabili qualsiasi quando una terza variabile è statisticamente controllata. Lo chiamo sorprendente perché l'inversione o il cambiamento di grandezza sono comuni nell'analisi condizionale. Per evitare entrambi, dobbiamo evitare del tutto l'analisi condizionale. Cosa c'è nei paradossi di Simpson e Lord o nell'effetto di soppressione, oltre a sottolineare l'ovvio, che attrae gli interessi intermittenti e talvolta allarmistici visti in letteratura?

[...]

In conclusione, non si può enfatizzare che sebbene i paradossi di Simpson e correlati rivelino i pericoli dell'utilizzo di criteri statistici per guidare l'analisi causale, non contengono né le spiegazioni del fenomeno che pretendono di rappresentare né i suggerimenti su come evitarli. Le spiegazioni e le soluzioni risiedono nel ragionamento causale che si basa sulla conoscenza di base, non su criteri statistici. È giunto il momento di smettere di trattare segni e sintomi male interpretati ("paradossi") e di dedicarci alla gestione della malattia ("causalità"). Dovremmo giustamente rivolgere la nostra attenzione al problema perenne della selezione delle covariate per l'analisi causale utilizzando dati non sperimentali.

Credo che effetti come questi siano spesso causati dalla collinearità (vedi questa domanda ). Penso che ne parli il libro sulla modellazione multilivello di Gelman e Hill. Il problema è che IV1è correlato con uno o più degli altri predittori e quando sono tutti inclusi nel modello, la loro stima diventa irregolare.

Se il coefficiente invertito è dovuto alla collinearità, non è davvero interessante riferire, perché non è dovuto alla relazione tra i predittori e il risultato, ma in realtà alla relazione tra predittori.

Quello che ho visto suggerito per risolvere questo problema è la residualizzazione. Innanzitutto, si adatta un modello per IV2 ~ IV1, quindi si prendono i residui di quel modello come rIV2. Se tutte le variabili sono correlate, dovresti davvero residualizzarle tutte. Puoi scegliere di farlo in questo modo

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

Ora, adatta il modello finale con

DV ~ IV1 + rIV2 + rIV3 + rIV4

Ora, il coefficiente per rIV2rappresenta l'effetto indipendente di IV2data la sua correlazione con IV1. Ho sentito che non otterrai lo stesso risultato se risiedessi in un ordine diverso e che la scelta dell'ordine di residualizzazione sia davvero una decisione di giudizio all'interno della tua ricerca.

Vedi il paradosso di Simpson . In breve, l'effetto principale osservato può invertire quando si aggiunge un'interazione a un modello. Nella pagina collegata la maggior parte degli esempi sono categorici, ma nella parte superiore della pagina c'è una figura che si può immaginare continuamente. Ad esempio, se si dispone di un predittore categorico e continuo, il predittore continuo potrebbe facilmente capovolgere il segno se viene aggiunto quello categorico e all'interno di ciascuna categoria il segno è diverso rispetto al punteggio complessivo.