Come si relazionano i residui ai disturbi sottostanti?

Nel metodo dei minimi quadrati vogliamo stimare i parametri sconosciuti nel modello:

Una volta che lo abbiamo fatto (per alcuni valori osservati), otteniamo la linea di regressione adattata:

Ora ovviamente vogliamo verificare alcuni grafici per garantire che le ipotesi siano soddisfatte. Supponiamo di voler verificare l'omoscedasticità, tuttavia, per fare ciò stiamo effettivamente controllando i residui . Supponiamo che tu esamini il diagramma dei valori residui vs previsti, se ciò ci dimostra che l'eteroscedasticità è evidente, allora come si collega al termine di disturbo ? L'eteroscedasticità nei residui implica eteroscedasticità in termini di disturbo? $e_j$$\varepsilon_j$

Il modo più semplice per pensare a questo proposito è che i residui prime ( ) sono stime dei disturbi corrispondenti ( ). Tuttavia, ci sono alcune complessità extra. Ad esempio, sebbene nel modello OLS standard ipotizziamo che gli errori / i disturbi siano indipendenti, i residui non possono essere tutti. In generale, solo i residui possono essere indipendenti poiché si sono utilizzati i gradi di libertà nella stima del modello medio e i residui sono costretti a sommare aε j = e j N - p - 1 p - 1 $e_j = y_j-\hat y_j$$\hat\varepsilon_j = e_j$$N-p-1$$p-1$$0$. Inoltre, la deviazione standard dei residui grezzi non è effettivamente costante. In generale, la linea di regressione è adattata in modo tale che sarà mediamente più vicina a quei punti con maggiore leva. Di conseguenza, la deviazione standard dei residui per quei punti è inferiore a quella dei punti di leva bassi. (Per ulteriori informazioni, può essere utile leggere le risposte qui: Interpretazione di plot.lm () e / o qui: Come eseguire analisi residue per predittori binari / dicotomici indipendenti nella regressione lineare? )

Il rapporto tra ε e ε è:$\hat{\varepsilon}$$\varepsilon$

dove , la matrice cappello, è X ( X T X ) - 1 X T .$H$$X(X^TX)^{-1}X^T$

Vale a dire che ε i è una combinazione lineare di tutti gli errori, ma tipicamente la maggior parte del peso cade sulla i uno -esimo.$\hat{\varepsilon}_i$$i$

Ecco un esempio, utilizzando il carsset di dati in R. Considera il punto contrassegnato in viola:

$i$$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$$w_j$

Possiamo riscriverlo come:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

o più in generale

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

$h_{ii}$$i$$H$$w_j$$h_{ij}$

$N(0,\sigma^2)$$i$

Vale a dire, in regressioni ben educate, i residui possono essere per lo più trattati come una stima moderatamente rumorosa di non osservabile il termine di errore. Considerando i punti più lontani dal centro, le cose funzionano in modo un po 'meno piacevole (il residuo diventa meno ponderato sull'errore e i pesi sugli altri errori diventano meno uniformi).

$X$