Errori standard per coefficienti di regressione multipli?

Mi rendo conto che questa è una domanda molto semplice, ma non riesco a trovare una risposta da nessuna parte.

Sto calcolando i coefficienti di regressione usando le equazioni normali o la decomposizione QR. Come posso calcolare gli errori standard per ciascun coefficiente? Di solito penso che gli errori standard vengano calcolati come:

$SE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}}$

Che cos'è per ciascun coefficiente? Qual è il modo più efficiente per calcolare questo nel contesto di OLS?$\sigma_{\bar x}$

Quando si effettua la stima dei minimi quadrati (assumendo una normale componente casuale) le stime dei parametri di regressione sono normalmente distribuite con media uguale al parametro di regressione reale e matrice di covarianza $\Sigma = s^2\cdot(X^TX)^{-1}$ dove $s^2$ è la varianza residua e $X^TX$ è la matrice del design. $X^T$ è la trasposizione di $X$ e $X$ è definita dall'equazione del modello $Y=X\beta+\epsilon$ con $\beta$i parametri di regressione e $\epsilon$ è il termine di errore. La deviazione standard stimata di un parametro beta viene ottenuta prendendo il termine corrispondente in $(X^TX)^{-1}$ moltiplicandolo per la stima campionaria della varianza residua e quindi prendendo la radice quadrata. Questo non è un calcolo molto semplice ma qualsiasi pacchetto software lo calcolerà per te e lo fornirà nell'output.

Esempio

A pagina 134 di Draper e Smith (citati nel mio commento), forniscono i seguenti dati per il montaggio di minimi quadrati un modello dove ε ∼ N ( 0 , I σ 2 ) .$Y = \beta_0 + \beta_1 X + \varepsilon$$\varepsilon \sim N(0, \mathbb{I}\sigma^2)$

                      X                      Y                    XY
                      0                     -2                     0
                      2                      0                     0
                      2                      2                     4
                      5                      1                     5
                      5                      3                    15
                      9                      1                     9
                      9                      0                     0
                      9                      0                     0
                      9                      1                     9
                     10                     -1                   -10
                    ---                     --                   ---
Sum                  60                      5                    32
Sum of  Squares     482                     21                   528

Sembra un esempio in cui la pendenza dovrebbe essere vicina a 0.

$$X^t = \pmatrix{ 1 &1 &1 &1 &1 &1 &1 &1 &1 &1 \\ 0 &2 &2 &5 &5 &9 &9 &9 &9 &10 }.$$

Così

$$X^t X = \pmatrix{n &\sum X_i \\ \sum X_i &\sum X_i^2} = \pmatrix{10 &60 \\60 &482}$$

e

$$\eqalign{ (X^t X)^{-1} &= \pmatrix{ \frac{\sum X_i^2}{n \sum (X_i - \bar{X})^2} &\frac{-\bar{X}}{\sum (X_i-\bar{X})^2} \\ \frac{-\bar{X}}{\sum (X_i-\bar{X})^2} &\frac{1}{\sum (X_i-\bar{X})^2} } \\ &= \pmatrix{\frac{482}{10(122)} &-\frac{6}{122} \\ -\frac{6}{122} &\frac{1}{122}} \\ &= \pmatrix{0.395 &-0.049 \\ -0.049 &0.008} }$$

dove .$\bar{X} = \sum X_i/n = 60/10 = 6$

Stima per = (b0) = (Yb-b1 Xb) b1 Sxy / Sxx$β = (X^TX)^{-1} X^TY$

b1 = 1/61 = 0,0163 e b0 = 0,5-0,0163 (6) = 0,402

Da sopra Sb1 = Se (0,008) e Sb0 = Se (0,395) dove Se è la deviazione standard stimata per il termine di errore. Se = √2.3085.$(X^TX)^{-1}$

Mi dispiace che le equazioni non rechino le iscrizioni e le apice quando le ho tagliate e incollate. La tabella non si riproduceva bene neanche perché gli spazi venivano ignorati. La prima stringa di 3 numeri corrisponde ai primi valori di XY e XY e lo stesso per le stringhe followinf di tre. Dopo la somma arrivano rispettivamente le somme per XY e XY e poi la somma dei quadrati per XY e XY rispettivamente. Anche le matrici 2x2 sono state incasinate. I valori dopo le parentesi dovrebbero essere tra parentesi sotto i numeri a sinistra.