Quali vantaggi offrono i "residui internamente studentizzati" rispetto ai residui grezzi stimati in termini di diagnosi di potenziali punti dati influenti?

10

Il motivo per cui lo chiedo è perché sembra che i residui internazionalizzati sembrino avere lo stesso modello dei residui stimati grezzi. Sarebbe bello se qualcuno potesse offrire una spiegazione.

residuals

— Scortchi - Ripristina Monica
fonte

13

Supponi un modello di regressione con matrice di progettazione (una colonna seguita dai tuoi predittori), predizioni (dove è la "matrice del cappello") e i residui . Il modello di regressione presuppone che i veri errori abbiano tutti la stessa varianza (omoschedasticità): $\bf{y} = \bf{X} \bf{\beta} + \bf{\epsilon}$ $\bf{X}$ $\bf{1}$ $\hat{\bf{y}} = \bf{X} (\bf{X}' \bf{X})^{-1} \bf{X}' \bf{y} = \bf{H} \bf{y}$ $\bf{H}$ $\bf{e} = \bf{y} - \hat{\bf{y}}$ $\bf{\epsilon}$

omoschedasticità

La matrice di covarianza dei residui è . Ciò significa che i residui grezzi hanno varianze diverse - la diagonale della matrice . Gli elementi diagonali di sono i valori di cappello . $V(\bf{e}) = \sigma^{2} (\bf{I} - \bf{H})$ $e_{i}$ $\sigma^{2} (1-h_{ii})$ $\sigma^{2} (\bf{I} - \bf{H})$ $\bf{H}$ $h_{ii}$

I residui veramente standardizzati con varianza 1 sono quindi . Il problema è che la varianza di errore è sconosciuta e i residui studentizzati internamente / esternamente risultano da scelte particolari per un preventivo . $\bf{e} / (\sigma \sqrt{1 - h_{ii}})$ $\sigma$ $\bf{e} / (\hat{\sigma} \sqrt{1 - h_{ii}})$ $\hat{\sigma}$

Poiché si prevede che i residui grezzi siano eteroschedastici anche se sono omoschedastici, i residui grezzi sono teoricamente meno adatti a diagnosticare problemi con l'ipotesi di omoschedasticità rispetto ai residui standardizzati o studentizzati. $\epsilon$

— Caracal
fonte

Le differenze di definizione tra i due diversi tipi di residui (così come i residui studiati esternamente) sono chiare per me. In pratica, tuttavia, non credo di aver riscontrato casi (almeno con i miei dati) in cui i residui internazionalizzati hanno un modello distinto rispetto ai residui stimati. D'altra parte, i residui studentizzati esternamente possono potenzialmente presentare uno schema distinto rispetto ai residui stimati. * Non sto dicendo che i due tipi di residui siano uguali. Mi riferisco ai loro schemi generali.

@AlexH. Sono d'accordo che il vantaggio dichiarato che ho aggiunto sia teorico . Costruire una situazione empirica simulata in cui i residui grezzi sono fuorvianti e i residui studentizzati forniscono un quadro più accurato delle distribuzioni condizionate sarebbe una buona aggiunta.

— Caracal,

12

Su quali tipi di dati hai eseguito i tuoi test grafici? Quando tutte le ipotesi valgono (o si avvicinano), non mi aspetto una grande differenza tra i residui grezzi e quelli studentizzati, il vantaggio principale è quando ci sono punti altamente influenti. Considera questi dati (simulati) che hanno una tendenza lineare positiva e un outlier altamente influente:

inserisci qui la descrizione dell'immagine

Ecco la trama dei valori adattati rispetto ai residui grezzi:

inserisci qui la descrizione dell'immagine

Si noti che il valore del residuo del nostro punto influente è più vicino a 0 rispetto ai residui minimi e massimi dal resto dei punti (non è nei 3 residui grezzi più estremi).

Ora ecco la trama con i residui standardizzati (internamente studentizzati):

inserisci qui la descrizione dell'immagine

In questo diagramma il residuo standardizzato si distingue perché la sua influenza è stata spiegata.

In questo semplice esempio è facile vedere cosa sta succedendo, ma cosa accadrebbe se avessimo più di una variabile e un punto molto influente, ma non insolito nei grafici bidimensionali? Non sarebbe ovvio da trame di residui grezzi, ma i residui studentizzati mostrerebbero quel residuo come più estremo. $x$

— Greg Snow
fonte