Come derivare l'errore standard del coefficiente di regressione lineare

20

Per questo modello di regressione lineare univariata dato il set di dati , le stime dei coefficienti sono Ecco la mia domanda, secondo la libro e Wikipedia , l'errore standard di è Come e perché?

y_{io} = β_{0} + β_{1} X_{io} + ε_{io}

$y_i = \beta_0 + \beta_1x_i+\epsilon_i$

D = {(x_{1}, y_{1}), . . ., (x_{n}, y_{n})}

$D=\{(x_1,y_1),...,(x_n,y_n)\}$

{\hat{β}}_{1} = \frac{\underset{io}{Σ} X_{io} y_{io} - n \bar{X} \bar{y}}{n {\bar{X}}^{2} - \underset{io}{Σ} X_{io}^{2}}

$\hat\beta_1=\frac{\sum_ix_iy_i-n\bar x\bar y}{n\bar x^2-\sum_ix_i^2}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{X}

$\hat\beta_0=\bar y - \hat\beta_1\bar x$

{\hat{β}}_{1}

$\hat\beta_1$

S_{{\hat{β}}_{1}} = \sqrt{\frac{\underset{io}{Σ} {\hat{ε}}_{io}^{2}}{(n - 2) \underset{io}{Σ} (X_{io} - \bar{X})^{2}}}

$s_{\hat\beta_1}=\sqrt{\frac{\sum_i\hat\epsilon_i^2}{(n-2)\sum_i(x_i-\bar x)^2}}$

standard-error inference

— avocado
fonte

1

stats.stackexchange.com/questions/44838/…

— ocram

@ocram, grazie, ma non sono del tutto in grado di gestire le cose della matrice, ci proverò.

— avocado,

1

@ocram, ho già capito come viene. Ma ancora una domanda: nel mio post, l'errore standard ha , dove secondo la tua risposta no, perché?

(n - 2)

$(n-2)$

— avocado,

15

3 ° commento sopra: ho già capito come viene. Ma ancora una domanda: nel mio post, l'errore standard ha (n − 2), dove secondo la tua risposta no, perché?

Nel mio post , si scopre che Il denominatore può essere scritto come Pertanto,

\hat{SE} (\hat{B}) = \sqrt{\frac{n {\hat{σ}}^{2}}{n Σ X_{io}^{2} - (Σ X_{io})^{2}}} .

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$

n \underset{io}{Σ} (X_{io} - \bar{X})^{2}

$n \sum_i (x_i - \bar{x})^2$

\hat{SE} (\hat{B}) = \sqrt{\frac{{\hat{σ}}^{2}}{\underset{io}{Σ} (X_{io} - \bar{X})^{2}}}

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{\hat{\sigma}^2}{\sum_i (x_i - \bar{x})^2}}$

Con ovvero il Mean Square Error (MSE) nella tabella ANOVA, finiamo con la tua espressione per . Il termine rappresenta la perdita di 2 gradi di libertà nella stima dell'intercetta e della pendenza.

{\hat{σ}}^{2} = \frac{1}{n - 2} \underset{io}{Σ} {\hat{ε}}_{io}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

\hat{se} (\hat{b})

$\widehat{\text{se}}(\hat{b})$

n - 2

$n-2$

— OCRAM
fonte

1

Penso di avere tutto il resto mi aspetto l'ultima parte. Puoi mostrare passo dopo passo perché ? Anch'io so che è legato ai gradi di libertà, ma non capisco la matematica.

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{i} {\hat{ϵ}}_{i}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

— Mappi,

2

un altro modo di pensare all'n-2 df è che usiamo 2 mezzi per stimare il coefficiente di pendenza (la media di Y e X)

df da Wikipedia: "... In generale, i gradi di libertà di una stima di un parametro sono uguali al numero di punteggi indipendenti che vanno nella stima meno il numero di parametri usati come passi intermedi nella stima del parametro stesso ".

— Eivind
fonte

2

Questa non è in realtà una derivazione in quanto tale, sebbene sia un'intuizione. Per alcune sottigliezze legate a questo, però, vedi Come capire i gradi di libertà?

— Silverfish