Nella semplice regressione lineare, da dove viene la formula per la varianza dei residui?

Secondo un testo che sto usando, la formula per la varianza del residuo è data da: $i^{th}$

$\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right )$

Trovo che questo sia difficile da credere dal momento che la residuo è la differenza tra il valore osservato e il valore stimato; se si calcolasse la varianza della differenza, almeno mi aspetterei qualche "vantaggio" nell'espressione risultante. Qualsiasi aiuto nella comprensione della derivazione sarebbe apprezzato. $i^{th}$ $i^{th}$ $i^{th}$

regression variance residuals

— Eric
fonte

È possibile che alcuni segni "

+

$+$ " nel testo vengano sottoposti a rendering errato (o letti erroneamente) come segni "

-

$-$ "?

— whuber

Ci avevo pensato, ma è successo due volte nel testo (2 diversi capitoli), quindi ho pensato che fosse improbabile. Certo, una derivazione della formula sarebbe d'aiuto! :)

— Eric,

I negativi sono il risultato della correlazione positiva tra un'osservazione e il suo valore adattato, che riduce la varianza della differenza.

— Glen_b -Restate Monica,

@Glen Grazie per aver spiegato perché si scopre che la formula ha senso, insieme alla derivazione della matrice di seguito.

— Eric,

L'intuizione sui segni "più" relativi alla varianza (dal fatto che anche quando calcoliamo la varianza di una differenza di variabili casuali indipendenti, aggiungiamo le loro varianze) è corretta ma fatalmente incompleta: se le variabili casuali coinvolte non sono indipendenti , quindi sono coinvolte anche le covarianze e le covarianze possono essere negative. Esiste un'espressione che è quasi come l'espressione nella domanda che si pensava che "dovrebbe" essere dall'OP (e da me), ed è la varianza dell'errore di predizione , denotarlo , dove : $e^0 = y^0 - \hat y^0$ $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

La differenza critica tra la varianza dell'errore di previsione e la varianza dell'errore di stima (cioè del residuo), è che il termine di errore dell'osservazione prevista non è correlato con lo stimatore , poiché il valore non è stato utilizzato in costruire lo stimatore e calcolare le stime, essendo un valore fuori campione. $y^0$

L'algebra di entrambi procede esattamente allo stesso modo fino a un punto (usando invece di ), ma poi diverge. In particolare: $^0$ $_i$

Nella semplice regressione lineare , , la varianza dello stimatore è ancora $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

Var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

abbiamo

X^{'} X = [\begin{matrix} n & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

e così

{(X^{'} X)}^{- 1} = [\begin{matrix} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{matrix}] \cdot {[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}]}^{- 1}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

abbiamo

[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}] = [n \sum x_{i}^{2} - n^{2} {\bar{x}}^{2}] = n [\sum x_{i}^{2} - n {\bar{x}}^{2}] = n \sum (x_{i}^{2} - {\bar{x}}^{2}) \equiv n S_{x x}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

Così

{(X^{'} X)}^{- 1} = [\begin{matrix} (1 / n) \sum x_{i}^{2} & - \bar{x} \\ - \bar{x} & 1 \end{matrix}] \cdot (1 / S_{x x})

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

che significa che

Var ({\hat{β}}_{0}) = σ^{2} (\frac{1}{n} \sum x_{i}^{2}) \cdot (1 / S_{x x}) = \frac{σ^{2}}{n} \frac{S_{x x} + n {\bar{x}}^{2}}{S_{x x}} = σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}})

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Var ({\hat{β}}_{1}) = σ^{2} (1 / S_{x x})

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

Cov ({\hat{β}}_{0}, {\hat{β}}_{1}) = - σ^{2} (\bar{x} / S_{x x})

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

L' -esimo residuo è definito come $i$

{\hat{u}}_{i} = y_{i} - {\hat{y}}_{i} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i} + u_{i}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

I coefficienti effettivi sono trattati come costanti, il regressore è fisso (o condizionato su di esso) e ha zero covarianza con il termine di errore, ma gli stimatori sono correlati con il termine di errore, perché gli stimatori contengono la variabile dipendente e la variabile dipendente contiene il termine di errore. Quindi abbiamo

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2} + σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) + x_{i}^{2} σ^{2} (1 / S_{x x}) + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Preparalo un po 'per ottenerlo

Var ({\hat{u}}_{i}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Il termine tra parentesi grandi ha esattamente la stessa struttura con la varianza dell'errore di predizione, con l'unica modifica che al posto di avremo (e la varianza sarà quella di e non di ). L'ultimo termine di covarianza è zero per l'errore di previsione perché e quindi non è incluso negli stimatori, ma non zero per l'errore di stima perché e quindi fa parte del campione e quindi è incluso nel estimatore. abbiamo $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}] u_{i})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

l'ultima sostituzione da come viene calcolato . Proseguendo, $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum (x_{i} - \bar{x}) + (x_{i} - \bar{x}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [0 + (x_{i} - \bar{x}) σ^{2}] = - 2 \frac{σ^{2}}{n} - 2 σ^{2} \frac{(x_{i} - \bar{x})^{2}}{S_{x x}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

Inserendo questo nell'espressione per la varianza del residuo, otteniamo

Var ({\hat{u}}_{i}) = σ^{2} \cdot (1 - \frac{1}{n} - \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

Quindi cappello al testo che l'OP sta usando.

(Ho saltato alcune manipolazioni algebriche, non c'è da stupirsi che algebra OLS venga insegnata sempre meno in questi giorni ...)

ALCUNI INTUIZIONI

Quindi sembra che ciò che funziona "contro" noi (varianza maggiore) quando si prevede, funziona "per noi" (varianza inferiore) quando si stima. Questo è un buon punto di partenza per ponderare perché un adattamento eccellente può essere un cattivo segno per le capacità di predizione del modello (per quanto controintuitivo possa sembrare ...).
Il fatto che stiamo stimando il valore atteso del regressore, riduce la varianza di . Perché? perché stimando , "chiudiamo gli occhi" a una certa variabilità dell'errore esistente nel campione, poiché essenzialmente stimiamo un valore atteso. Inoltre, maggiore è la deviazione di un'osservazione di un regressore dalla media campionaria del regressore, $1/n$ la varianza del residuo associato a questa osservazione sarà ... più deviante è l'osservazione, meno deviante è il suo residuo ... È la variabilità dei regressori che lavora per noi, "sostituendo" l'errore sconosciuto- variabilità.

Ma va bene per la stima . Per la previsione , le stesse cose si rivolgono contro di noi: ora, non tenendo conto, per quanto imperfettamente, della variabilità in (poiché vogliamo prevederla), i nostri stimatori imperfetti ottenuti dal campione mostrano i loro punti deboli: abbiamo stimato che media campionaria, non conosciamo il vero valore atteso - la varianza aumenta. Abbiamo un che è lontano dalla media del campione calcolato dalle altre osservazioni -peccato, la nostra varianza dell'errore di previsione ottiene un altro impulso, perché il predetto tenderà ad andare fuori strada ... in più linguaggio scientifico "predittori ottimali nel senso di ridotta varianza dell'errore di previsione, rappresentano a $y^0$ $x^0$ $\hat y^0$ restringimento verso la media della variabile sotto previsione ". Non cerchiamo di replicare la variabilità della variabile dipendente - cerchiamo solo di rimanere" vicini alla media ".

— Alecos Papadopoulos
fonte

Grazie per una risposta molto chiara! Sono contento che la mia "intuizione" sia stata corretta.

— Eric,

Alecos, non penso proprio che sia giusto.

— Glen_b -Restate Monica

@Alecos l'errore sta nel ritenere che le stime dei parametri non siano correlate al termine dell'errore. Questa parte: non è corretto.

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$

— Glen_b -Restate Monica

@Eric, mi scuso per averti ingannato prima. Ho cercato di fornire alcune intuizioni per entrambe le formule.

— Alecos Papadopoulos,

+1 Puoi capire perché ho fatto il caso di regressione multipla per questo ... grazie per lo sforzo extra di fare il caso di regressione semplice.

— Glen_b -Restate Monica

Ci scusiamo per la risposta un po 'concisa, forse troppo astratta e priva di una quantità desiderabile di esposizione intuitiva, ma proverò a tornare e aggiungere qualche dettaglio in seguito. Almeno è breve.

Dato , $H=X(X^TX)^{-1}X^T$

\begin{array}{rcl} Var (y - \hat{y}) & = & Var ((I - H) y) \\ = & (I - H) Var (y) (I - H)^{T} \\ = & σ^{2} (I - H)^{2} \\ = & σ^{2} (I - H) \end{array}

$\begin{eqnarray} \text{Var}(y-\hat{y})&=&\text{Var}((I-H)y)\\ &=&(I-H)\text{Var}(y)(I-H)^T\\ &=&\sigma^2(I-H)^2\\ &=&\sigma^2(I-H) \end{eqnarray}$

Quindi

Var (y_{i} - {\hat{y}}_{i}) = σ^{2} (1 - h_{i i})

$\text{Var}(y_i-\hat{y}_i)=\sigma^2(1-h_{ii})$

Nel caso di una semplice regressione lineare ... questo dà la risposta alla tua domanda.

Anche questa risposta ha un senso: poiché è correlato positivamente con , la varianza della differenza dovrebbe essere inferiore alla somma delle varianze. $\hat{y}_i$ $y_i$

Modifica: spiegazione del perché è idempotente . $(I-H)$

(i) è idempotente: $H$

$H^2=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T$ $= X\ [(X^TX)^{-1}X^TX]\ (X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H$

(ii) $(I-H)^2= I^2-IH-HI+H^2=I-2H+H=I-H$

— Glen_b - Ripristina Monica
fonte

Questa è una derivazione molto bella per la sua semplicità, anche se un passo che non mi è chiaro è perché . Forse quando espandi un po 'la tua risposta, come hai intenzione di fare comunque, potresti dire qualcosa in proposito?

(I - H)^{2} = (I - H)

$(I-H)^2=(I-H)$

— Jake Westfall,

@Jake Aggiunti un paio di righe alla fine

— Glen_b -Reinstate Monica