Perché la pendenza è sempre esattamente 1 quando si regrediscono gli errori sui residui usando OLS?

Stavo sperimentando la relazione tra gli errori e i residui usando alcune semplici simulazioni in R. Una cosa che ho scoperto è che, indipendentemente dalla dimensione del campione o dalla varianza dell'errore, ottengo sempre esattamente per la pendenza quando si adatta il modello$1$

$${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$$

Ecco la simulazione che stavo facendo:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

ee rsono altamente (ma non perfettamente) correlati, anche per piccoli campioni, ma non riesco a capire perché ciò avvenga automaticamente. Una spiegazione matematica o geometrica sarebbe apprezzata.

la risposta di Whuber è fantastica! (+1) Ho risolto il problema usando la notazione più familiare per me e ho pensato che valesse la pena includere qui la derivazione (meno interessante, più di routine).

Sia il modello di regressione, perché e il rumore. Quindi la regressione di contro le colonne di ha equazioni normali producendo stimePertanto la regressione ha residui per .X ∈ R n × p ε y X X T ( Y - X β ) = 0 , β = ( X T X ) - 1 X T y . r = y - X β = ( I - H ) y = ( I - $y = X \beta^* + \epsilon$$X \in \mathbb{R}^{n \times p}$$\epsilon$$y$$X$$X^T\left(y - X \hat\beta\right) = 0,$

$$\hat\beta = \left(X^T X \right)^{-1} X^T y.$$ $$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$$ $H = X (X^T X)^{-1} X^T$

La regressione di su determina una pendenza stimata data da poiché è simmetrico e idempotente e quasi sicuramente.$\epsilon$$r$

$$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$$ $I-H$$\epsilon \not\in \mathrm{im}(X)$

Inoltre, questo argomento vale anche se includiamo un'intercettazione quando eseguiamo la regressione degli errori sui residui se un'intercettazione è stata inclusa nella regressione originale, poiché le covariate sono ortogonali (cioè , dalle equazioni normali ).$1^T r = 0$

Senza alcuna perdita di generalità concettuale (o pratica), rimuovere innanzitutto la costante dalle variabili come descritto in Come si "controlla esattamente altre variabili" . Sia il regressore, l'errore, la risposta, la stima dei minimi quadrati di e i residui. Tutti questi vettori giacciono sullo stesso piano, permettendoci di disegnarne delle immagini. La situazione può essere resa in questo modo, dove indica l'origine:$x$$e$$Y=\beta x + e$$b$$\beta$$r = Y - bx$$O$

Questa foto è stata costruita a partire con , aggiungendo poi l'errore per la produzione di . L'altitudine è stata quindi ridotta alla base, incontrandola alla stima dei minimi quadrati . Chiaramente l'altitudine è il vettore residuo e quindi è stato etichettato .e Y b x Y - b x $\beta x$$e$$Y$$bx$$Y-bx$$r$

La base del triangolo è parallela al vettore regressore . Le altitudini dei lati e sono l'altitudine del triangolo stesso. Per definizione, la residua è perpendicolare alla base: pertanto, si possono trovare distanze dalla base mediante proiezione su . Quindi l'altitudine del triangolo può essere trovata in uno dei tre modi seguenti: regredire contro (trovare l'altezza di ); regredire contro (trovare l'altezza di ) o regredire contro (trovare l'altezza diO Y ( β x ) Y r r Y r Y e r e r r r $x$$OY$$(\beta x)Y$$r$$r$$Y$$r$$Y$$e$$r$$e$$r$$r$$r$ ). Tutti e tre i valori devono essere tutti uguali (come è possibile verificare eseguendo queste regressioni). Quest'ultimo ovviamente è , QED .$1$

---

Per coloro che preferiscono l'algebra, possiamo convertire questa analisi geometrica in un'elegante dimostrazione algebrica. Osserva semplicemente che , e sono tutti congruenti modulo nel sottospazio generato da . Pertanto devono avere proiezioni uguali in qualsiasi spazio ortogonale a , come quello generato da , dove la proiezione di ha coefficiente , QED . (Statisticamente, semplicemente "eliminiamo" il componente di in tutte e tre le espressioni, lasciando in ogni caso.)e = r + ( β - b ) x Y = e + β x = r + ( 2 β - b ) x x x r r 1 x $r$$e=r+(\beta-b)x$$Y=e+\beta x = r + (2\beta-b)x$$x$$x$$r$$r$$1$$x$$r$