Qual è la differenza fondamentale tra questi due modelli di regressione?

Supponiamo che io abbia una risposta bivariata con correlazione significativa. Sto cercando di confrontare i due modi per modellare questi risultati. Un modo è quello di modellare la differenza tra i due risultati: Un altro modo è di usarli o modellarli:

(y_{i 2} - y_{i 1} = β_{0} + X^{'} β)

$(y_{i2}-y_{i1}=\beta_0+X'\beta)$ glsgee

(y_{i j} = β_{0} + time + X^{'} β)

$(y_{ij}=\beta_0+\text{time}+X'\beta)$

Ecco un esempio foo:

#create foo data frame

require(mvtnorm)
require(reshape)
set.seed(123456)
sigma <- matrix(c(4,2,2,3), ncol=2)
y <- rmvnorm(n=500, mean=c(1,2), sigma=sigma)
cor(y)
x1<-rnorm(500)
x2<-rbinom(500,1,0.4)
df.wide<-data.frame(id=seq(1,500,1),y1=y[,1],y2=y[,2],x1,x2)
df.long<-reshape(df.wide,idvar="id",varying=list(2:3),v.names="y",direction="long")
df.long<-df.long[order(df.long$id),]
    df.wide$diff_y<-df.wide$y2-df.wide$y1


#regressions
fit1<-lm(diff_y~x1+x2,data=df.wide)
fit2<-lm(y~time+x1+x2,data=df.long)
fit3<-gls(y~time+x1+x2,data=df.long, correlation = corAR1(form = ~ 1 | time))

Qual è la differenza fondamentale tra fit1e fit2? E tra fit2e fit3, dato che sono così vicini ai valori e alle stime? $p$

r regression model-selection

— David Z
fonte

La differenza tra fit1 e fit3 viene talvolta definita paradosso di Lord. Vedi qui per una discussione (sul perché le stime non cambiano tra i modelli) e un riferimento a un articolo di Paul Allison, stats.stackexchange.com/a/15759/1036 . Un altro riferimento è

Holland, Paul & Donald Rubin. 1983. On Lord’s Paradox. In Principles of modern psychological measurement: A festchrift for Frederic M. Lord edited by Wainer, Howard & Samuel Messick pgs:3-25. Lawrence Erlbaum Associates. Hillsdale, NJ.

— Andy W,

In primo luogo, introdurrò ancora un quarto modello per la discussione nella mia risposta:

fit1.5 <- lm (y_2 ~ x_1 + x_2 + y_1)

Parte 0
La differenza tra fit1 e fit1.5 è meglio riassunta come differenza tra una differenza vincolata rispetto a una differenza ottimale.

y_{2} = b_{0} + b_{1} \cdot x + b_{2} \cdot y_{1}

$y_2 = b_0 + b_1·x + b_2·y_1$

b_{2}

$b_2$

y_{2} - b_{2} \cdot y_{1} = b_{0} + b_{1} \cdot x

$y_2 - b_2·y_1 = b_0 + b_1·x$

y

$y$

$b_2=1$

y_{2} - y_{1} = b_{0} + b_{1} \cdot x

$y_2 - y_1 = b_0 + b_1·x$

$x$ $y_1$ $y_2$ $t$

y = b_{0} + b_{1} \cdot x + b_{2} \cdot t

$y = b_0 + b_1 · x + b_2 · t$

t = 0

$t=0$

y_{1}

$y_1$

t = 1

$t=1$

y_{2}

$y_2$

\begin{aligned} y_{1} & = b_{0} + b_{1} \cdot x \\ y_{2} & = b_{0} + b_{1} \cdot x + b_{2} \end{aligned}

$\begin{align}y_1 & = b_0 + b_1 · x \\ y_2 & = b_0 + b_1 · x + b_2\end{align}$

y_{2} - y_{1} = b_{2}

$y_2 - y_1 = b_2$

b_{2}

$b_2$

b_{2}

$b_2$

y

$y$

Parte 2
Quindi qual è la differenza tra i modelli fit2 e fit3 ... in realtà, molto poco. Il modello fit3 tiene conto della correlazione in termini di errore, ma ciò modifica solo il processo di stima, e quindi le differenze tra i due output del modello saranno minime (oltre al fatto che fit3 stima il fattore autoregressivo).

Parte 2.5
E includerò ancora un altro modello in questa discussione

fit4 <- lmer (y ~ time + x1 + x2 + (1 | id), data = df.long)

$y$

— Gregg H
fonte