Perché la correlazione dei residui non ha importanza quando si verifica la normalità?

Quando (ovvero, deriva dal modello di regressione lineare), e in quel caso residui sono correlati e non indipendenti. Ma quando facciamo la diagnostica della regressione e vogliamo testare l'assunto , ogni libro di testo suggerisce di usare grafici Q – Q e test statistici sui residui che sono stati progettati per verificare se per alcuni . $Y = AX + \varepsilon$ $Y$

ε \sim N (0, σ^{2} I) \Rightarrow \hat{e} = (I - H) Y \sim N (0, (I - H) σ_{}^{2})

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{})$

{\hat{e}}_{1}, \dots, {\hat{e}}_{n}

$\hat{e}_1, \ldots, \hat{e}_n$

ε \sim N (0, σ^{2} I)

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I)$

\hat{e}

$\hat{e}$

\hat{e} \sim N (0, σ^{2} I)

$\hat{e} \sim \mathcal{N}(0, \sigma^2 I)$

σ^{2} \in R

$\sigma^2 \in \mathbb{R}$

Come mai non importa per questi test che i residui siano correlati e non indipendenti? Si suggerisce spesso di usare residui standardizzati:

{\hat{e}}_{i}^{'} = \frac{{\hat{e}}_{i}}{\sqrt{1 - h_{i i}}},

$\hat{e}_i' = \frac{\hat{e}_i}{\sqrt{1 - h_{ii}}},$ ma ciò li rende solo omosessuali, non indipendenti.

Per riformulare la domanda: i residui della regressione OLS sono correlati. Capisco che in pratica queste correlazioni sono così piccole (il più delle volte? Sempre?), Che possono essere ignorate quando si verifica se i residui provengono dalla distribuzione normale. La mia domanda è: perché?

regression residuals non-independent

— Zoran Loncarevic
fonte

Li rende omoscedastici.

— Scortchi - Ripristina Monica

Stai chiedendo l'applicabilità di questi test quando i residui hanno forti correlazioni o sei solo preoccupato per la correlazione negativa (molto leggera e insignificante) derivante dalla procedura di stima dei minimi quadrati?

— whuber

@whuber Sto chiedendo della correlazione derivante dalla procedura di stima dei minimi quadrati. Se sono lievi e insignificanti, vorrei sapere perché.

— Zoran Loncarevic,

Nella tua notazione, è la proiezione e lo spazio della colonna di , ovvero il sottospazio spanning di tutti i regressori. Pertanto è la proiezione su tutto ciò che è ortogonale al sottospazio attraversato da tutti i regressori. $H$ $X$ $M:=I_{n}-H$

Se , allora è singolarmente distribuito normalmente e gli elementi sono correlati, come affermi. $X\in\mathbb{R}^{n\times k}$ $\hat{e}\in\mathbb{R}^{n}$

Gli errori sono osservabili e sono in generale non ortogonale al sottospazio attraversato da . Per ragioni di argomento, supponiamo che l'errore . Se ciò fosse vero, avremmo con . Poiché , potremmo scomporre e ottenere il vero . $\varepsilon$ $X$ $\varepsilon\perp\operatorname{span}\left(X\right)$ $y=X\beta+\varepsilon=\tilde{y}+\varepsilon$ $\tilde{y}\perp\varepsilon$ $\tilde{y}=X\beta\in\operatorname{span}\left(X\right)$ $y$ $\varepsilon$

Supponiamo di avere una base di , dove il primo vettore di base abbraccia il sottospazio e il restante span . In generale, l'errore avrà componenti diversi da zero per . Questi componenti diversi da zero verranno confusi con e pertanto non possono essere recuperati dalla proiezione su . $b_{1},\ldots,b_{n}$ $\mathbb{R}^{n}$ $b_{1},\ldots,b_{k}$ $\operatorname{span}\left(X\right)$ $b_{k+1},\ldots,b_{n}$ $\operatorname{span}\left(X\right)^{\perp}$ $\varepsilon=\alpha_{1}b_{1}+\ldots+\alpha_{n}b_{n}$ $\alpha_{i}$ $i\in\left\{1,\ldots,k\right\}$ $X\beta$ $\operatorname{span}\left(X\right)$

Dal momento che non possiamo mai sperare di recuperare i veri errori e sono correlati singolari -dimensionali normali, potremmo trasformare . Lì possiamo avere che ie è non singolare non correlato e distribuito normalmente omoscedastico. I residui sono chiamati residui BLUS di Theil . $\varepsilon$ $\hat{e}$ $n$ $\hat{e}\in\mathbb{R}^{n}\mapsto e^{*}\in\mathbb{R}^{n-k}$

e^{*} \sim N_{n - k} (0, σ^{2} I_{n - k}),

$\begin{equation} e^{*}\sim\mathcal{N}_{n-k}\left(0,\sigma^{2}I_{n-k}\right) \textrm{,} \end{equation}$

e^{*}

$e^{*}$

e^{*}

$e^{*}$

Nel breve articolo Sul test dei disturbi della regressione per la normalità trovate un confronto tra i residui di OLS e BLUS. Nell'impostazione collaudata Monte Carlo i residui OLS sono superiori ai residui BLUS. Ma questo dovrebbe darti un punto di partenza.

— Marco Breitig
fonte