Grafici residui: perché il diagramma rispetto ai valori adattati, non ai valori osservati ?

Nel contesto della regressione OLS, capisco che un diagramma residuo (rispetto ai valori adattati) è convenzionalmente considerato per verificare la varianza costante e valutare le specifiche del modello. Perché i residui vengono tracciati rispetto agli accoppiamenti e non ai valori ? In che modo le informazioni differiscono da queste due trame?$Y$

Sto lavorando a un modello che ha prodotto i seguenti grafici residui:

Quindi il grafico contro i valori adattati sembra buono a colpo d'occhio, ma il secondo diagramma contro il valore ha un modello. Mi chiedo perché un modello così pronunciato non si manifesti anche nella trama residua vs adatta ...$Y$

Non sto cercando aiuto nella diagnosi dei problemi con il modello, ma sto solo cercando di capire le differenze (in generale) tra (1) grafico residuo vs adattamento e (2) diagramma residuo vs$Y$

Per quello che vale, sono sicuro che il modello di errore nel secondo grafico è dovuto alle variabili omesse che influenzano il DV. Attualmente sto lavorando per ottenere quei dati, che mi aspetto aiuteranno l'adattamento e le specifiche generali. Sto lavorando con i dati immobiliari: DV = Prezzo di vendita. IVs: Mq. Di casa, # spazi garage, anno di costruzione, anno di costruzione . $^2$

Per costruzione il termine di errore in un modello OLS non è correlato ai valori osservati delle covariate X. Ciò sarà sempre vero per i dati osservati anche se il modello sta producendo stime distorte che non riflettono i valori reali di un parametro perché viene violata un'ipotesi del modello (come un problema variabile omesso o un problema con causalità inversa). I valori previsti sono interamente una funzione di queste covariate, quindi non sono correlati con il termine di errore. Pertanto, quando si tracciano i residui rispetto ai valori previsti, devono sempre apparire casuali perché non sono effettivamente correlati dalla costruzione dello stimatore. Al contrario, è del tutto possibile (e probabilmente probabile) che il termine di errore di un modello sia correlato con Y in pratica. Ad esempio, con una variabile X dicotomica maggiore è la Y reale da entrambiE(Y | X = 1)o E(Y | X = 0)allora più grande sarà il residuo. Ecco la stessa intuizione con i dati simulati in R dove sappiamo che il modello è imparziale perché controlliamo il processo di generazione dei dati:

rm(list=ls())
set.seed(21391209)

trueSd <- 10
trueA <- 5
trueB <- as.matrix(c(3,5,-1,0))
sampleSize <- 100

# create independent x-values
x1 <- rnorm(n=sampleSize, mean = 0, sd = 4)
x2 <-  rnorm(n=sampleSize, mean = 5, sd = 10)
x3 <- 3 + x1 * 4 + x2 * 2 + rnorm(n=sampleSize, mean = 0, sd = 10)
x4 <- -50 + x1 * 7 + x2 * .5 + x3 * 2  + rnorm(n=sampleSize, mean = 0, sd = 20)
X = as.matrix(cbind(x1,x2,x3,x4))


# create dependent values according to a + bx + N(0,sd)
Y <-  trueA +  X %*%  trueB  +rnorm(n=sampleSize,mean=0,sd=trueSd)


df = as.data.frame(cbind(Y,X))
colnames(df) <- c("y", "x1", "x2", "x3", "x4")
ols = lm(y~x1+x2+x3+x4, data = df)
y_hat = predict(ols, df)
error = Y - y_hat
cor(y_hat, error) #Zero
cor(Y, error) #Not Zero

Otteniamo lo stesso risultato di zero correlazione con un modello distorto, ad esempio se omettiamo x1.

ols2 = lm(y~x2+x3+x4, data = df)
y_hat2 = predict(ols2, df)
error2 = Y - y_hat2
cor(y_hat2, error2) #Still zero
cor(Y, error2) #Not Zero

Due fatti che presumo tu sia felice con me affermando:

io. $y_i = \hat{y}_i+\hat{e}_i$

ii. $\text{Cov}(\hat{y}_i,\hat{e}_i)=0$

Poi:

$\text{Cov}(y_i,\hat{e}_i)=\text{Cov}(\hat{y}_i+\hat{e}_i,\hat{e}_i)$

$\qquad=\text{Cov}(\hat{y}_i,\hat{e}_i) +\text{Cov}(\hat{e}_i,\hat{e}_i)$

$\qquad=0 +\sigma^2_e$

$\qquad=\sigma^2_e$

Quindi, mentre il valore adattato non è correlato con il residuo, l'osservazione è .

In effetti, ciò è dovuto al fatto che sia l'osservazione che il residuo sono correlati al termine dell'errore.

Questo di solito rende un po 'più difficile usare la trama residua a fini diagnostici.