Perché è possibile ottenere statistiche F significative (p <.001) ma test t regressori non significativi?


70

In una regressione lineare multipla, perché è possibile avere una statistica F altamente significativa (p <.001) ma avere valori p molto alti su tutti i test t del regressore?

Nel mio modello, ci sono 10 regressori. Uno ha un valore p di 0,1 e il resto è superiore a 0,9


Per affrontare questo problema, consultare la domanda di follow-up .


2
Anche la costante è insignificante? Quanti casi sono coinvolti? Quante variabili?
whuber

Come è stata diagnosticata la multicollinearità? Esistono molti metodi, alcuni sono più informativi di altri. Più ci dici, migliore sarà la risposta della community.
StasK,

3
Questa domanda è diventata una FAQ. Alcune delle risposte qui sono state unite da discussioni sostanzialmente simili.
whuber


Ho avuto lo stesso problema e nessuna delle risposte sopra potrebbe aiutarmi. Ora conosco la risposta (almeno al mio problema): il valore F del modello 2 può essere significativo, perché hai la stessa "costante" (variabile) del modello 1 (il cui valore F è anche significativo). Devi guardare la tabella chiamata 'Riepilogo modello' nella colonna 'Sig. F Modifica "per vedere se la variazione in R al quadrato è significativa (per il modello 2). Se quello è significativo, anche i valori b dovrebbero essere significativi. Puoi ignorare totalmente il valore F.

Risposte:


53

Come cita Rob, questo si verifica quando si hanno variabili altamente correlate. L'esempio standard che utilizzo prevede la previsione del peso in base alle dimensioni della scarpa. Puoi prevedere il peso ugualmente bene con la misura della scarpa destra o sinistra. Ma insieme non funziona.

Breve esempio di simulazione

RSS = 3:10 #Right shoe size
LSS = rnorm(RSS, RSS, 0.1) #Left shoe size - similar to RSS
cor(LSS, RSS) #correlation ~ 0.99

weights = 120 + rnorm(RSS, 10*RSS, 10)

##Fit a joint model
m = lm(weights ~ LSS + RSS)

##F-value is very small, but neither LSS or RSS are significant
summary(m)

##Fitting RSS or LSS separately gives a significant result. 
summary(lm(weights ~ LSS))

9
È interessante e importante notare che entrambi i tuoi modelli prevedono ugualmente bene, in questo caso. Alte correlazioni tra predittori non sono necessariamente un problema per la previsione. La multicolinearità è solo un problema quando 1) gli analisti cercano di interpretare in modo inappropriato coefficienti di regressione multipli; 2) il modello non è stimabile; e 3) I SE sono gonfiati e i coefficienti sono instabili.
Brett,

Comprendo che le due variabili sono altamente correlate tra loro, quindi il risultato del test t non è significativo mentre il risultato del test F è significativo. Ma come mai succede? Voglio dire, qual è la ragione alla base di questo fatto?
yue86231,

105

Ci vuole pochissima correlazione tra le variabili indipendenti per causare questo.

Per capire perché, prova quanto segue:

  • Disegna 50 serie di dieci vettori con coefficienti ii standard normale.(x1,x2,,x10)

  • Calcola per . Questo rende individualmente standard normale ma con alcune correlazioni tra loro.yi=(xi+xi+1)/2i=1,2,,9yi

  • Calcola . Nota che .w=x1+x2++x10w=2(y1+y3+y5+y7+y9)

  • Aggiungi qualche errore indipendente normalmente distribuito a . Con una piccola sperimentazione ho scoperto che con funziona abbastanza bene. Pertanto, è la somma di più qualche errore. E 'anche la somma di alcuni del più lo stesso errore.wz=w+εεN(0,6)zxiyi

Considereremo le variabili indipendenti e la variabile dipendente.yiz

Ecco una matrice scatterplot di uno di questi set di dati, con lungo la parte superiore e sinistra e procede in ordine.zyi

Matrice a dispersione

Le correlazioni attese tra eyiyj1/2|ij|=10

zyi

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  9,    40) =    4.57
       Model |  1684.15999     9  187.128887           Prob > F      =  0.0003
    Residual |  1636.70545    40  40.9176363           R-squared     =  0.5071
-------------+------------------------------           Adj R-squared =  0.3963
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3967

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.184007   1.264074     1.73   0.092    -.3707815    4.738795
          y2 |   1.537829   1.809436     0.85   0.400    -2.119178    5.194837
          y3 |   2.621185   2.140416     1.22   0.228    -1.704757    6.947127
          y4 |   .6024704   2.176045     0.28   0.783    -3.795481    5.000421
          y5 |   1.692758   2.196725     0.77   0.445    -2.746989    6.132506
          y6 |   .0290429   2.094395     0.01   0.989    -4.203888    4.261974
          y7 |   .7794273   2.197227     0.35   0.725    -3.661333    5.220188
          y8 |  -2.485206    2.19327    -1.13   0.264     -6.91797    1.947558
          y9 |   1.844671   1.744538     1.06   0.297    -1.681172    5.370514
       _cons |   .8498024   .9613522     0.88   0.382    -1.093163    2.792768
------------------------------------------------------------------------------

La statistica F è altamente significativa, ma nessuna delle variabili indipendenti lo è, anche senza alcuna correzione per tutte e 9.

zyi

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  5,    44) =    7.77
       Model |  1556.88498     5  311.376997           Prob > F      =  0.0000
    Residual |  1763.98046    44  40.0904649           R-squared     =  0.4688
-------------+------------------------------           Adj R-squared =  0.4085
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3317

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.943948   .8138525     3.62   0.001     1.303736     4.58416
          y3 |   3.403871   1.080173     3.15   0.003     1.226925    5.580818
          y5 |   2.458887    .955118     2.57   0.013      .533973    4.383801
          y7 |  -.3859711   .9742503    -0.40   0.694    -2.349443    1.577501
          y9 |   .1298614   .9795983     0.13   0.895    -1.844389    2.104112
       _cons |   1.118512   .9241601     1.21   0.233    -.7440107    2.981034
------------------------------------------------------------------------------

Alcune di queste variabili sono estremamente significative, anche con un aggiustamento di Bonferroni. (C'è molto altro che si può dire guardando questi risultati, ma ci porterebbe via dal punto principale.)

zy2,y4,y6,y8z

yi

Una conclusione che possiamo trarre da questo è che quando in un modello sono incluse troppe variabili possono mascherare quelle veramente significative. Il primo segno di ciò è la statistica F complessiva altamente significativa accompagnata da test t non così significativi per i singoli coefficienti. (Anche quando alcune delle variabili sono singolarmente significative, ciò non significa automaticamente che le altre non lo siano. Questo è uno dei difetti di base delle strategie di regressione graduale: cadono vittime di questo problema di mascheramento.) Per inciso, i fattori di inflazione della varianzanel primo intervallo di regressione da 2,55 a 6,09 con una media di 4,79: proprio al limite della diagnosi di multicollinearità secondo le regole empiriche più conservative; ben al di sotto della soglia in base ad altre regole (dove 10 è un limite superiore).


5
Bella risposta. Un plus 1 da parte mia. Mi sarebbe piaciuto darlo di più.
Michael Chernick,

41

multicollinearità

  • R2
  • Naturalmente, la multicollinearità non riguarda solo una soglia assoluta. Gli errori standard sui coefficienti di regressione aumenteranno all'aumentare delle intercorrelazioni con il predittore focale.

Più predittori quasi significativi

  • Anche se non si dispone di multicollinearità, è comunque possibile ottenere predittori non significativi e un modello complessivamente significativo se due o più singoli predittori sono vicini a significativi e quindi collettivamente, la previsione complessiva supera la soglia di significatività statistica. Ad esempio, usando un alfa di .05, se avessi due predittori con valori di p di .06 e .07, non sarei sorpreso se il modello complessivo avesse un p <.05.

Bella risposta concisa. Per aggiungere a ciò, suggerirei di perturbare i dati (o rimuovere un predittore) e vedere se c'è un notevole cambiamento nei coefficienti della regressione. Ad esempio, cerca le modifiche ai segni.
Mustafa S Eisa,

38

Ciò accade quando i predittori sono altamente correlati. Immagina una situazione in cui ci sono solo due predittori con correlazione molto alta. Individualmente, entrambi sono anche strettamente correlati con la variabile di risposta. Di conseguenza, il test F ha un basso valore p (sta dicendo che i predittori insieme sono altamente significativi nello spiegare la variazione nella variabile di risposta). Ma il test t per ciascun predittore ha un valore p elevato perché dopo aver consentito l'effetto dell'altro predittore non rimane molto da spiegare.


Ciao Rob, scusa se ti disturbo. Ho letto la tua risposta (perché sto affrontando la situazione della domanda in questo momento) ma non riesco a capire cosa intendi dicendo "dopo aver permesso l'effetto dell'altro predittore non c'è molto altro da spiegare". Posso chiederti di spiegarmelo? Molte grazie.
yue86231,

1
@ yue86231 Significa che sebbene abbiamo un valore p per ciascun predittore, non possiamo interpretare ciascun valore p in modo isolato. Ogni test t predittore può mostrare il significato di una variabile solo dopo aver tenuto conto della varianza spiegata da tutte le altre variabili. I coefficienti di regressione lineare e l'errore standard vengono prodotti contemporaneamente, per così dire, ei due predittori si riducono reciprocamente di significato.
Robert Kubrick,

11

X1N(0,1)X2=aX1+δY=bX1+cX2+ϵδϵX1N(0,1)

Cov(X2,Y)=E[(aX1+δ)(bX1+cX2+ϵ)]=E[(aX1+δ)({b+ac}X1+cδ+ϵ)]=a(b+ac)+c

a=1b=2c=1

Hai detto di comprendere il problema delle variabili correlate e che la regressione è insignificante meglio; probabilmente significa che sei stato condizionato dalla menzione frequente della multicollinearità, ma avresti bisogno di migliorare la tua comprensione della geometria dei minimi quadrati.


10

Una parola chiave da cercare sarebbe "collinearità" o "multicollinearità". Ciò può essere rilevato utilizzando la diagnostica come i fattori di inflazione della varianza (VIF) o i metodi descritti nel libro di testo "Diagnostica della regressione: identificazione di dati influenti e fonti di collinearità" di Belsley, Kuh e Welsch. I VIF sono molto più facili da capire, ma non possono gestire la collinearità che coinvolge l'intercettazione (cioè predittori che sono quasi costanti da soli o in una combinazione lineare) - al contrario, la diagnostica BKW è molto meno intuitiva ma può gestire la collinearità che coinvolge l'intercetta.


9

La risposta che ricevi dipende dalla domanda che fai. Oltre ai punti già formulati, i valori dei singoli parametri F e i valori F globali del modello rispondono a domande diverse, quindi ottengono risposte diverse. Ho visto che ciò accade anche quando i singoli valori F non sono così significativi, specialmente se il modello ha più di 2 o 3 IV. Non conosco alcun modo per combinare i singoli valori p e ottenere qualcosa di significativo, anche se potrebbe esserci un modo.


2
(-1) Sì - il poster originale sta notando che anche lui / lei l'ha visto accadere. La domanda era: quali sono esattamente alcune cose che possono causare questo oltre alla collinearità e non vedo come questa sia una risposta.
Macro

4
@Macro Il downvote sembra un po 'duro, perché c'è un'osservazione utile e valida in questa risposta: i test per il significato complessivo e per il significato variabile individuale "rispondono a domande diverse". È vero che è qualitativo, ma non di più quindi la prima risposta con molti voti; e a quella risposta aggiunge un po 'di intuizione valida, rendendola probabilmente un miglioramento rispetto a quella risposta.
whuber

1
Non ho mai detto che non c'erano informazioni o intuizioni valide fornite da questa risposta. Se avessi avuto una buona risposta a questa domanda avrei già risposto - è una specie di domanda difficile - stavo solo dicendo che questa risposta non sembra rispondere alla domanda in nessun senso della parola.
Macro,

9

Un'altra cosa da tenere a mente è che i test sui singoli coefficienti presuppongono che tutti gli altri predittori siano nel modello. In altre parole, ogni predittore non è significativo finché tutti gli altri predittori sono nel modello. Ci deve essere qualche interazione o interdipendenza tra due o più dei tuoi predittori.

Come qualcuno ha chiesto sopra - come hai diagnosticato una mancanza di multicollinearità?


4

Un modo per capirlo è la geometria dei minimi quadrati come suggerisce @StasK.

Un altro è rendersi conto che significa che X è correlato a Y quando si controlla per le altre variabili, ma non da solo. Dici che X si riferisce alla varianza unica in Y. Questo è giusto. La varianza unica in Y, tuttavia, è diversa dalla varianza totale. Quindi, quale varianza rimuovono le altre variabili?

Sarebbe utile se tu potessi dirci le tue variabili.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.