Gli intervalli di confidenza per i coefficienti di regressione lineare dovrebbero essere basati sulla distribuzione normale o ?

Diamo qualche modello lineare, ad esempio ANOVA semplice:

# data generation
set.seed(1.234)                      
Ng <- c(41, 37, 42)                    
data <- rnorm(sum(Ng), mean = rep(c(-1, 0, 1), Ng), sd = 1)      
fact <- as.factor(rep(LETTERS[1:3], Ng)) 

m1 = lm(data ~ 0 + fact)
summary(m1)

Il risultato è il seguente:

Call:
lm(formula = data ~ 0 + fact)

Residuals:
     Min       1Q   Median       3Q      Max 
-2.30047 -0.60414 -0.04078  0.54316  2.25323 

Coefficients:
      Estimate Std. Error t value Pr(>|t|)    
factA  -0.9142     0.1388  -6.588 1.34e-09 ***
factB   0.1484     0.1461   1.016    0.312    
factC   1.0990     0.1371   8.015 9.25e-13 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.8886 on 117 degrees of freedom
Multiple R-squared: 0.4816,     Adjusted R-squared: 0.4683 
F-statistic: 36.23 on 3 and 117 DF,  p-value: < 2.2e-16

Ora provo due metodi diversi per stimare l'intervallo di confidenza di questi parametri

c = coef(summary(m1))

# 1st method: CI limits from SE, assuming normal distribution
cbind(low = c[,1] - qnorm(p = 0.975) * c[,2], 
    high = c[,1] + qnorm(p = 0.975) * c[,2])

# 2nd method
confint(m1)

Domande:

Qual è la distribuzione dei coefficienti di regressione lineare stimati? Normale o ? $t$
Perché entrambi i metodi producono risultati diversi? Supponendo che la distribuzione normale e SE corretta, mi aspetto che entrambi i metodi abbiano lo stesso risultato.

Grazie mille!

dati ~ 0 + fatti

MODIFICA dopo una risposta :

La risposta è esatta, questo darà esattamente lo stesso risultato di confint(m1)!

# 3rd method
cbind(low = c[,1] - qt(p = 0.975, df = sum(Ng) - 3) * c[,2], 
    high = c[,1] + qt(p = 0.975, df = sum(Ng) - 3) * c[,2])

r regression confidence-interval

— Curioso
fonte

relativi: stats.stackexchange.com/questions/111559/…

— Curioso

(1) Quando gli errori sono distribuiti normalmente e la loro varianza è non noto, allora ha una-distribuzione sotto l'ipotesi nulla cheè il vero coefficiente di regressione. Il predefinito inè a prova, quindi i-Statistiche riportati sono solo

\frac{\hat{β} - β_{0}}{s e (\hat{β})}

$\frac{\hat{\beta} - \beta_0}{{\rm se}(\hat{\beta})}$

t

$t$

β_{0}

$\beta_0$ R

β_{0} = 0

$\beta_0 = 0$

t

$t$

\frac{\hat{β}}{s e (\hat{β})}

$\frac{\hat{\beta}}{{\rm se}(\hat{\beta})}$

Si noti che, in alcune condizioni di regolarità, la statistica sopra è sempre asintoticamente normalmente distribuita, indipendentemente dal fatto che gli errori siano normali o se la varianza dell'errore sia nota.

(2) Il motivo per cui si ottengono risultati diversi è che i percentili della distribuzione normale sono diversi dai percentili della distribuzione . Pertanto, il moltiplicatore che stai utilizzando davanti all'errore standard è diverso, il che a sua volta fornisce intervalli di confidenza diversi. $t$

In particolare, ricorda che l'intervallo di confidenza usando la distribuzione normale è

\hat{β} \pm z_{α / 2} \cdot s e (\hat{β})

$\hat{\beta} \pm z_{\alpha/2} \cdot {\rm se}(\hat{\beta})$

dove è il quantile della distribuzione normale. Nel caso standard di un intervallo di confidenza , e . L'intervallo di confidenza basato sulla distribuzione è $z_{\alpha/2}$ $\alpha/2$ $95\%$ $\alpha = .05$ $z_{\alpha/2} \approx 1.96$ $t$

\hat{β} \pm t_{α / 2, n - p} \cdot s e (\hat{β})

$\hat{\beta} \pm t_{\alpha/2,n-p} \cdot {\rm se}(\hat{\beta})$

dove il moltiplicatore si basa sui quantili della distribuzione con gradi di libertà dove è la dimensione del campione e è il numero di predittori. Quando è grande, e sono quasi uguali. $t_{\alpha/2,n-p}$ $t$ $n-p$ $n$ $p$ $n$ $t_{\alpha/2,n-p}$ $z_{\alpha/2}$

Di seguito è riportato un grafico dei moltiplicatori per campioni di dimensioni comprese tra e (ho ipotizzato per questo diagramma, ma questo non cambia nulla qualitativamente). I moltiplicatori sono più grandi, ma, come puoi vedere di seguito, convergono al moltiplicatore (linea nera continua) all'aumentare della dimensione del campione. $t$ $5$ $300$ $p=1$ $t$ $z$

enter image description here

— macro
fonte

Sì!! Bel lavoro !! (+1)

— gui11aume

Macro, grazie per la risposta. Ma: tu parli della distribuzione delle statistiche T, mentre io ho chiesto della distribuzione del coefficiente di regressione. La mia comprensione è che il coefficiente di regressione è una distribuzione caratterizzata dalla sua media (la stima del coefficiente) e dal suo errore standard. Ho chiesto informazioni su questa distribuzione, non sulla distribuzione delle statistiche di prova. Potrei perdere qualcosa, quindi per favore prova a spiegare in modo più ovvio :) Grazie

— Curioso l'

\frac{\hat{β} - β_{0}}{s e (\hat{β})}

$\frac{ {\hat \beta}−β_{0}}{{\rm se}(\hat β)}$

t

$t$

\hat{β}

$\hat β$

t

$t$

β_{0}

$β_0$

s e (\hat{β})

${\rm se}(\hat β)$

\hat{β}

$\hat β$

Hai esattamente ragione! Questo darà esattamente lo stesso risultato confint(m1), anche per campioni di piccole dimensioni! cbind(low = c[,1] - qt(p = 0.975, df = sum(Ng) - 3) * c[,2], high = c[,1] + qt(p = 0.975, df = sum(Ng) - 3) * c[,2])

— Curioso l'

\hat{β}

$\hat{\beta}$

\hat{β} - β_{0}

$\hat{\beta}-\beta_0$

β_{0}

$\beta_0$

t

$t$