Ha senso studiare trame di residui rispetto alla variabile dipendente?

Vorrei sapere se ha senso studiare le trame dei residui rispetto alla variabile dipendente quando ho una regressione univariata. Se ha senso, cosa significa una correlazione crescente, lineare e crescente tra i residui (sull'asse y) e i valori stimati della variabile dipendente (sull'asse x)?

Supponiamo di avere la regressione , dove β 1 ≈ 0 . Quindi, y i - β 0 ≈ ϵ i . Maggiore è il valore y , maggiore è il residuo. Al contrario, un diagramma dei residui contro x non dovrebbe mostrare alcuna relazione sistematica. Inoltre, il valore previsto y i dovrebbe essere approssimativamente β$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\beta_1 \approx 0$$y_i - \beta_0 \approx \epsilon_i$$y$$x$$\hat{y}_i$$\hat{\beta}_0$--- lo stesso per ogni osservazione. Se tutti i valori previsti sono approssimativamente uguali, devono essere non correlati agli errori.

Quello che la trama mi sta dicendo è che ed y sono sostanzialmente estranei (naturalmente, ci sono modi migliori per mostrare questo). Fateci sapere se il coefficiente beta 1 non è vicino a 0.$x$$y$$\hat{\beta}_1$

Come migliore diagnostica, utilizzare un grafico dei residui rispetto al salario previsto o al valore . Non dovresti osservare uno schema distinguibile in questi grafici.$x$

Se vuoi una piccola dimostrazione R, ecco qui:

y      <- rnorm(100, 0, 5)
x      <- rnorm(100, 0, 2)
res    <- lm(y ~ x)$residuals
fitted <- lm(y ~ x)$fitted.values
plot(y, res)
plot(x, res)
plot(fitted, res)

Supponendo che il modello stimato sia correttamente specificato ...

$P_X=X(X'X)^{-1}X'$$P_X$$P_X^2=P_X$$P_X'=P_X$

$Cov(\hat{Y},\hat{e})=Cov(P_XY,(I-P_X)Y)=P_XCov(Y,Y)(I-P_X)'=\sigma^2P_X(I-P_X)=0$

Quindi il diagramma a dispersione dei residui rispetto alla variabile dipendente prevista non dovrebbe mostrare alcuna correlazione.

Ma!

$Cov(Y,\hat{e})=Cov(Y,(I-P_X)Y)=Cov(Y,Y)(I-P_X)'=\sigma^2(I-P_X)$

$\sigma^2(I-P_X)$

Per quanto ne so, Gretl produce di default il grafico dei residui rispetto alla variabile dipendente originale (non quella prevista!).

È possibile che si confondano i valori adattati / previsti con i valori effettivi?

Come hanno detto @gung e @biostat, speri che non vi sia alcuna relazione tra valori adattati e residui. D'altra parte, trovare una relazione lineare tra i valori effettivi della variabile dipendente / risultato e i residui è prevedibile e non è particolarmente informativo.

Aggiunto per chiarire la frase precedente: non ci si aspetta solo una relazione lineare tra i residui e i valori effettivi dell'outcome ... Per i valori misurati bassi di Y, i valori previsti di Y da un modello utile tenderanno ad essere più alti di i valori misurati effettivi e viceversa.

Le risposte offerte mi stanno dando alcune idee su cosa sta succedendo qui. Credo che potrebbero esserci stati degli errori commessi per caso. Vedi se la seguente storia ha senso: per iniziare, penso che ci sia probabilmente una forte relazione tra X e Y nei dati (ecco un po 'di codice e una trama):

set.seed(5)
wage <- rlnorm(1000, meanlog=2.3, sdlog=.5)
something_else <- .7*wage + rnorm(1000, mean=0, sd=1)
plot(wage, something_else, pch=3, col="red", main="Plot X vs. Y")

Ma per errore Y era previsto proprio dalla media. A complemento di ciò, i residui del solo modello medio sono tracciati rispetto a X, anche se ciò che si intendeva era tracciare contro i valori adattati (codice e trama):

meanModel <- lm(something_else~1)
windows()
plot(wage, meanModel$residuals, pch=3, col="red", 
    main="Plot of residuals from Mean only Model against X")
abline(h=0, lty="dotted")

Possiamo risolvere questo problema inserendo il modello appropriato e tracciando i residui da quello (codice e trama):

appropriateModel <- lm(something_else~wage)
windows()
plot(appropriateModel$fitted.values, appropriateModel$residuals, pch=3, col="red",
main="Plot of residuals from the appropriate\nmodel against fitted values")
lines(lowess(appropriateModel$residuals~appropriateModel$fitted.values))

Sembra proprio il tipo di sciocchezze che ho fatto quando stavo iniziando.

Questo grafico indica che il modello che hai montato non è buono. Come ha detto @gung nei primi commenti sulla domanda principale che non dovrebbe esserci alcuna relazione tra risposta prevista e residuo.

"un analista dovrebbe aspettarsi che un modello di regressione vada in errore nel prevedere una risposta in modo casuale; il modello dovrebbe prevedere valori uguali e reali rispetto a quelli reali con uguale probabilità. Vedi questo "

Consiglierei la prima risposta della trama contro la variabile indipendente per vedere la relazione tra di loro. Potrebbe essere ragionevole aggiungere termini polinomiali nel modello.

Non è questo ciò che accade se non esiste alcuna relazione tra la variabile X e Y? Guardando questo grafico, sembra che tu stia essenzialmente predicendo Y con la sua media.

Penso che OP abbia tracciato i residui rispetto alla variabile di risposta originale (non la variabile di risposta adattata dal modello). Vedo sempre trame come questa, con quasi lo stesso schema esatto. Assicurati di tracciare i residui rispetto ai valori adattati, poiché non sono sicuro di quale inferenza significativa potresti ricavare dai residui rispetto a Y originale. Ma potrei certamente sbagliarmi.