Perché è possibile ottenere statistiche F significative (p <.001) ma test t regressori non significativi?

In una regressione lineare multipla, perché è possibile avere una statistica F altamente significativa (p <.001) ma avere valori p molto alti su tutti i test t del regressore?

Nel mio modello, ci sono 10 regressori. Uno ha un valore p di 0,1 e il resto è superiore a 0,9

Per affrontare questo problema, consultare la domanda di follow-up .

Come cita Rob, questo si verifica quando si hanno variabili altamente correlate. L'esempio standard che utilizzo prevede la previsione del peso in base alle dimensioni della scarpa. Puoi prevedere il peso ugualmente bene con la misura della scarpa destra o sinistra. Ma insieme non funziona.

Breve esempio di simulazione

RSS = 3:10 #Right shoe size
LSS = rnorm(RSS, RSS, 0.1) #Left shoe size - similar to RSS
cor(LSS, RSS) #correlation ~ 0.99

weights = 120 + rnorm(RSS, 10*RSS, 10)

##Fit a joint model
m = lm(weights ~ LSS + RSS)

##F-value is very small, but neither LSS or RSS are significant
summary(m)

##Fitting RSS or LSS separately gives a significant result. 
summary(lm(weights ~ LSS))

Ci vuole pochissima correlazione tra le variabili indipendenti per causare questo.

Per capire perché, prova quanto segue:

• Disegna 50 serie di dieci vettori con coefficienti ii standard normale.$(x_1, x_2, \ldots, x_{10})$

• Calcola per . Questo rende individualmente standard normale ma con alcune correlazioni tra loro.$y_i = (x_i + x_{i+1})/\sqrt{2}$$i = 1, 2, \ldots, 9$$y_i$

• Calcola . Nota che .$w = x_1 + x_2 + \cdots + x_{10}$$w = \sqrt{2}(y_1 + y_3 + y_5 + y_7 + y_9)$

• Aggiungi qualche errore indipendente normalmente distribuito a . Con una piccola sperimentazione ho scoperto che con funziona abbastanza bene. Pertanto, è la somma di più qualche errore. E 'anche la somma di alcuni del più lo stesso errore.$w$$z = w + \varepsilon$$\varepsilon \sim N(0, 6)$$z$$x_i$$y_i$

Considereremo le variabili indipendenti e la variabile dipendente.$y_i$$z$

Ecco una matrice scatterplot di uno di questi set di dati, con lungo la parte superiore e sinistra e procede in ordine.$z$$y_i$

Le correlazioni attese tra e$y_i$$y_j$$1/2$$|i-j|=1$$0$

$z$$y_i$

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  9,    40) =    4.57
       Model |  1684.15999     9  187.128887           Prob > F      =  0.0003
    Residual |  1636.70545    40  40.9176363           R-squared     =  0.5071
-------------+------------------------------           Adj R-squared =  0.3963
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3967

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.184007   1.264074     1.73   0.092    -.3707815    4.738795
          y2 |   1.537829   1.809436     0.85   0.400    -2.119178    5.194837
          y3 |   2.621185   2.140416     1.22   0.228    -1.704757    6.947127
          y4 |   .6024704   2.176045     0.28   0.783    -3.795481    5.000421
          y5 |   1.692758   2.196725     0.77   0.445    -2.746989    6.132506
          y6 |   .0290429   2.094395     0.01   0.989    -4.203888    4.261974
          y7 |   .7794273   2.197227     0.35   0.725    -3.661333    5.220188
          y8 |  -2.485206    2.19327    -1.13   0.264     -6.91797    1.947558
          y9 |   1.844671   1.744538     1.06   0.297    -1.681172    5.370514
       _cons |   .8498024   .9613522     0.88   0.382    -1.093163    2.792768
------------------------------------------------------------------------------

La statistica F è altamente significativa, ma nessuna delle variabili indipendenti lo è, anche senza alcuna correzione per tutte e 9.

$z$$y_i$

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  5,    44) =    7.77
       Model |  1556.88498     5  311.376997           Prob > F      =  0.0000
    Residual |  1763.98046    44  40.0904649           R-squared     =  0.4688
-------------+------------------------------           Adj R-squared =  0.4085
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3317

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.943948   .8138525     3.62   0.001     1.303736     4.58416
          y3 |   3.403871   1.080173     3.15   0.003     1.226925    5.580818
          y5 |   2.458887    .955118     2.57   0.013      .533973    4.383801
          y7 |  -.3859711   .9742503    -0.40   0.694    -2.349443    1.577501
          y9 |   .1298614   .9795983     0.13   0.895    -1.844389    2.104112
       _cons |   1.118512   .9241601     1.21   0.233    -.7440107    2.981034
------------------------------------------------------------------------------

Alcune di queste variabili sono estremamente significative, anche con un aggiustamento di Bonferroni. (C'è molto altro che si può dire guardando questi risultati, ma ci porterebbe via dal punto principale.)

$z$$y_2, y_4, y_6, y_8$$z$

$y_i$

Una conclusione che possiamo trarre da questo è che quando in un modello sono incluse troppe variabili possono mascherare quelle veramente significative. Il primo segno di ciò è la statistica F complessiva altamente significativa accompagnata da test t non così significativi per i singoli coefficienti. (Anche quando alcune delle variabili sono singolarmente significative, ciò non significa automaticamente che le altre non lo siano. Questo è uno dei difetti di base delle strategie di regressione graduale: cadono vittime di questo problema di mascheramento.) Per inciso, i fattori di inflazione della varianzanel primo intervallo di regressione da 2,55 a 6,09 con una media di 4,79: proprio al limite della diagnosi di multicollinearità secondo le regole empiriche più conservative; ben al di sotto della soglia in base ad altre regole (dove 10 è un limite superiore).

multicollinearità

• $R^2$
• Naturalmente, la multicollinearità non riguarda solo una soglia assoluta. Gli errori standard sui coefficienti di regressione aumenteranno all'aumentare delle intercorrelazioni con il predittore focale.

Più predittori quasi significativi

• Anche se non si dispone di multicollinearità, è comunque possibile ottenere predittori non significativi e un modello complessivamente significativo se due o più singoli predittori sono vicini a significativi e quindi collettivamente, la previsione complessiva supera la soglia di significatività statistica. Ad esempio, usando un alfa di .05, se avessi due predittori con valori di p di .06 e .07, non sarei sorpreso se il modello complessivo avesse un p <.05.

Ciò accade quando i predittori sono altamente correlati. Immagina una situazione in cui ci sono solo due predittori con correlazione molto alta. Individualmente, entrambi sono anche strettamente correlati con la variabile di risposta. Di conseguenza, il test F ha un basso valore p (sta dicendo che i predittori insieme sono altamente significativi nello spiegare la variazione nella variabile di risposta). Ma il test t per ciascun predittore ha un valore p elevato perché dopo aver consentito l'effetto dell'altro predittore non rimane molto da spiegare.

$X_1 \sim N(0,1)$$X_2 = a X_1 + \delta$$Y = bX_1 + cX_2 + \epsilon$$\delta$$\epsilon$$X_1$$N(0,1)$

$a=1$$b=2$$c=-1$

Hai detto di comprendere il problema delle variabili correlate e che la regressione è insignificante meglio; probabilmente significa che sei stato condizionato dalla menzione frequente della multicollinearità, ma avresti bisogno di migliorare la tua comprensione della geometria dei minimi quadrati.

Una parola chiave da cercare sarebbe "collinearità" o "multicollinearità". Ciò può essere rilevato utilizzando la diagnostica come i fattori di inflazione della varianza (VIF) o i metodi descritti nel libro di testo "Diagnostica della regressione: identificazione di dati influenti e fonti di collinearità" di Belsley, Kuh e Welsch. I VIF sono molto più facili da capire, ma non possono gestire la collinearità che coinvolge l'intercettazione (cioè predittori che sono quasi costanti da soli o in una combinazione lineare) - al contrario, la diagnostica BKW è molto meno intuitiva ma può gestire la collinearità che coinvolge l'intercetta.

La risposta che ricevi dipende dalla domanda che fai. Oltre ai punti già formulati, i valori dei singoli parametri F e i valori F globali del modello rispondono a domande diverse, quindi ottengono risposte diverse. Ho visto che ciò accade anche quando i singoli valori F non sono così significativi, specialmente se il modello ha più di 2 o 3 IV. Non conosco alcun modo per combinare i singoli valori p e ottenere qualcosa di significativo, anche se potrebbe esserci un modo.

Un'altra cosa da tenere a mente è che i test sui singoli coefficienti presuppongono che tutti gli altri predittori siano nel modello. In altre parole, ogni predittore non è significativo finché tutti gli altri predittori sono nel modello. Ci deve essere qualche interazione o interdipendenza tra due o più dei tuoi predittori.

Come qualcuno ha chiesto sopra - come hai diagnosticato una mancanza di multicollinearità?

Un modo per capirlo è la geometria dei minimi quadrati come suggerisce @StasK.

Un altro è rendersi conto che significa che X è correlato a Y quando si controlla per le altre variabili, ma non da solo. Dici che X si riferisce alla varianza unica in Y. Questo è giusto. La varianza unica in Y, tuttavia, è diversa dalla varianza totale. Quindi, quale varianza rimuovono le altre variabili?

Sarebbe utile se tu potessi dirci le tue variabili.