Perché i residui nella regressione lineare si sommano sempre a zero quando è inclusa un'intercettazione?

Sto seguendo un corso sui modelli di regressione e una delle proprietà fornite per la regressione lineare è che i residui si sommano sempre a zero quando viene inclusa un'intercettazione.

Qualcuno può fornire una buona spiegazione del perché questo è il caso?

Ciò deriva direttamente dalle equazioni normali, ovvero le equazioni che lo stimatore OLS risolve,

$$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$$

Il vettore all'interno delle parentesi è ovviamente il vettore residuo o la proiezione di sul complemento ortogonale dello spazio della colonna di , se ti piace l'algebra lineare. Ora includere un vettore di quelli nella matrice , che tra l'altro non deve essere nella prima colonna come è fatto convenzionalmente, porta a X $\mathbf{y}$$X$$\mathbf{X}$

$$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$$

Nel problema a due variabili questo è ancora più semplice da vedere, poiché minimizzare la somma dei residui quadrati ci porta a

$$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$$

quando prendiamo il derivato rispetto all'intercetta. Da questo poi procediamo per ottenere lo stimatore familiare

$$a = \bar{y} - b \bar{x}$$

dove ancora una volta vediamo che la costruzione dei nostri stimatori impone questa condizione.

Nel caso in cui stai cercando una spiegazione piuttosto intuitiva.

In un certo senso, il modello di regressione lineare non è altro che un mezzo di fantasia. Per trovare la media aritmetica su alcuni valori , troviamo un valore che è una misura della centralità in un senso che la somma di tutte le deviazioni (dove ogni deviazione è definita come ) a destra del valore medio sono uguali alla somma di tutte le deviazioni a sinistra di quella media. Non esiste una ragione intrinseca per cui questa misura sia buona, figuriamoci il modo migliore per descrivere la media di un campione, ma è certamente intuitiva e pratica. Il punto importante è che, definendo la media aritmetica in questo modo, ne consegue necessariamente che una volta costruita la media aritmetica, tutte le deviazioni da tale media devono essere sommate a zero per definizione!$\bar{x}$$x_1, x_2, \dots, x_n$$u_i = x_i - \bar{x}$

Nella regressione lineare, questo non è diverso. Adattiamo la linea in modo tale che la somma di tutte le differenze tra i nostri valori adattati (che si trovano sulla linea di regressione) e i valori effettivi che si trovano sopra la linea sia esattamente uguale alla somma di tutte le differenze tra la linea di regressione e tutti i valori al di sotto del linea. Ancora una volta, non esiste una ragione intrinseca, perché questo è il modo migliore per costruire una soluzione, ma è semplice e intuitivamente attraente. Proprio come con la media aritmetica: costruendo i nostri valori adattati in questo modo, ne consegue necessariamente, per costruzione, che tutte le deviazioni da quella linea devono essere sommate a zero perché altrimenti questa non sarebbe una regressione OLS.

Quando un'intercettazione è inclusa nella regressione lineare multipla, Nella regressione dei minimi quadrati, la somma dei quadrati degli errori è ridotta al minimo. Prendi il parziale derivata di SSE rispetto a e impostandola su zero.

$$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$$ $$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$$ $\beta_0$ $$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$$ Quindi, i residui si sommano sempre a zero quando un'intercettazione è inclusa nella regressione lineare.

Un'osservazione chiave è che, poiché il modello ha intercetta, , che è la prima colonna della matrice di progettazione , può essere scritta come dove è un vettore di colonna con tutti zeri tranne il primo componente. Inoltre, nella notazione matriciale, la somma dei residui è solo .$1$$X$

$$1 = Xe,$$ $e$$1^T(y - \hat{y})$

Pertanto,

$$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$$

Una derivazione semplice usando l'algebra matriciale:

$\sum e$ può essere scritto come$1^Te$

Poi

$1^Te = 1^T(M_x y)$ dove è la matrice ortogonale. Poiché è simmetrico, possiamo riorganizzare in modo che $M_x$$M_x$$(M_x1)^Ty$

che è uguale a zero se e sono ortogonali, il che è il caso se la matrice dei regressori contiene l'intercetta (un vettore di , in effetti).$M_x$$1$$x$$1$

1. $e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
2. $\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ so$\hat{a} = \frac{1}{n}\sum v_i$
3. $\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..