Verifica dell'uguaglianza dei coefficienti da due diverse regressioni

Questo sembra essere un problema di base, ma mi sono appena reso conto che in realtà non so come testare l'uguaglianza dei coefficienti da due diverse regressioni. Qualcuno può far luce su questo?

Più formalmente, supponiamo di aver eseguito le due regressioni seguenti: e dove riferisce alla matrice di progettazione della regressione e al vettore dei coefficienti in regressione . Si noti che e sono potenzialmente molto diversi, con dimensioni diverse ecc. Sono interessato, ad esempio, a .

y_{1} = X_{1} β_{1} + ϵ_{1}

$y_1 = X_1\beta_1 + \epsilon_1$

y_{2} = X_{2} β_{2} + ϵ_{2}

$y_2 = X_2\beta_2 + \epsilon_2$

X_{i}

$X_i$

i

$i$

β_{i}

$\beta_i$

i

$i$

X_{1}

$X_1$

X_{2}

$X_2$

{\hat{β}}_{11} \neq {\hat{β}}_{21}

$\hat\beta_{11} \neq \hat\beta_{21}$

Se questi provenissero dalla stessa regressione, sarebbe banale. Ma dal momento che provengono da diversi, non sono sicuro di come farlo. Qualcuno ha un'idea o può darmi alcuni suggerimenti?

Il mio problema in dettaglio: la mia prima intuizione è stata quella di guardare gli intervalli di confidenza, e se si sovrappongono, direi che sono essenzialmente gli stessi. Questa procedura non viene fornita con le dimensioni corrette del test, tuttavia (ad esempio ogni intervallo di confidenza individuale ha , diciamo, ma osservarli insieme non avrà la stessa probabilità). La mia "seconda" intuizione era quella di condurre un normale test t. Cioè, prendi $\alpha=0.05$

\frac{β_{11} - β_{21}}{s d (β_{11})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})}$

dove è preso come il valore della mia ipotesi nulla. Questo non tiene conto dell'incertezza di stima di , tuttavia, e la risposta può dipendere dall'ordine delle regressioni (che io chiamo 1 e 2). $\beta_{21}$ $\beta_{21}$

La mia terza idea era di farlo come in un test standard per l'uguaglianza di due coefficienti dalla stessa regressione, ovvero prendere

\frac{β_{11} - β_{21}}{s d (β_{11} - β_{21})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})}$

La complicazione sorge a causa del fatto che entrambi provengono da regressioni diverse. Nota che

V a r (β_{11} - β_{21}) = V a r (β_{11}) + V a r (β_{21}) - 2 C o v (β_{11}, β_{21})

$Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21})$ ma poiché provengono da regressioni diverse, come ottengo ?

C o v (β_{11}, β_{21})

$Cov(\beta_{11},\beta_{21})$

Questo mi ha portato a porre questa domanda qui. Questa deve essere una procedura standard / test standard, ma non trovo nulla che sia sufficientemente simile a questo problema. Quindi, se qualcuno può indicarmi la procedura corretta, sarei molto grato!

hypothesis-testing inference

— coffeinjunky
fonte

Ciò sembra essere correlato alla modellazione di equazioni strutturali / simultanee. Un modo per risolvere questo problema consiste nell'adattare simultaneamente entrambe le equazioni, ad es. Con la massima probabilità, e quindi utilizzare un test del rapporto di verosimiglianza di un vincolo (modello di parametri uguali) rispetto a un modello non vincolato. Praticamente questo può essere fatto con il software SEM (Mplus, lavaan ecc.)

— tomka,

Sai di Seemingly Unrelated Regression (SUR)?

— Dimitriy V. Masterov

Penso che la domanda del tuo rilancio, ovvero come ottenere la cov di entrambi i coefficienti, sia risolta da SEM, che ti darebbe la matrice var-cov di tutti i coefficienti. Quindi è possibile utilizzare un test Wald nel modo suggerito anziché un test LRT. Inoltre potresti anche usare il ricampionamento / bootstrap, che potrebbe essere più diretto.

— tomka,

Sì, hai ragione, @tomka. In un modello SUR (che puoi prendere in considerazione vagamente un caso speciale di modelli SEM), posso ottenere il test appropriato. Grazie per avermi indicato in quella direzione! Penso di non averci pensato perché sembra un po 'come sparare a un passero con un cannone, ma non riesco davvero a pensare a un modo migliore. Se scrivi una risposta, la segnerò come corretta. Altrimenti, lo scriverò presto, con una rapida spiegazione teorica e potenzialmente con un esempio.

— coffeinjunky,

SUR è abbastanza facile da implementare. Ecco un esempio con Stata . Con R vuoi systemfit .

— Dimitriy V. Masterov,

Risposte:

Sebbene questa non sia un'analisi comune, è davvero interessante. La risposta accettata si adatta al modo in cui hai posto la tua domanda, ma fornirò un'altra tecnica ragionevolmente ben accettata che potrebbe essere o non essere equivalente (lascerò alle menti migliori di commentare).

Questo approccio consiste nell'utilizzare il seguente test Z:

$Z = \frac{\beta_1-\beta_2}{\sqrt{(SE\beta_1)^2+(SE\beta_2)^2}}$

Dove è l'errore standard di . $SE\beta$ $\beta$

Questa equazione è fornita da Clogg, CC, Petkova, E. e Haritou, A. (1995). Metodi statistici per confrontare i coefficienti di regressione tra i modelli. American Journal of Sociology , 100 (5), 1261-1293. ed è citato da Paternoster, R., Brame, R., Mazerolle, P., e Piquero, A. (1998). Utilizzo del test statistico corretto per l'uguaglianza dei coefficienti di regressione. Criminologia , 36 (4), 859-866. equazione 4, disponibile gratuitamente da un paywall. Ho adattato la formula di Peternoster per usare anziché $\beta$ $b$ perché è possibile che tu possa essere interessato a DV diversi per qualche motivo terribile e la mia memoria di Clogg et al. era che la loro formula utilizzava . Ricordo anche il controllo incrociato di questa formula contro Cohen, Cohen, West e Aiken, e la radice dello stesso pensiero può essere trovata lì nell'intervallo di confidenza delle differenze tra coefficienti, equazione 2.8.6, pag 46-47. $\beta$

— russellpierce
fonte

Vedi anche: stats.stackexchange.com/questions/55501/…

— russellpierce

Risposta fantastica! Una domanda di follow-up: questo vale anche per le combinazioni lineari di

dal modello 1 e

dal modello 2? Come,

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Z = \frac{A β_{1} - B β_{2}}{\sqrt{(SE A β_{1})^{2} + (SE B β_{2})^{2}}}

$Z=\frac{A\beta_1-B\beta_2}{\sqrt{(\text{SE}A\beta_1)^2+(\text{SE}B\beta_2)^2}}$

— Sibbs Gioco d'azzardo

Inoltre noto che il documento discute il caso in cui un modello è nidificato all'interno dell'altro e DV di due modelli è lo stesso. E se queste due condizioni non fossero soddisfatte? Invece, ho matrici di design dei due modelli uguali, ma hanno DV diversi. Questa formula si applica ancora? Molte grazie!

— Sibbs Gambling,

@SibbsGambling: potresti fare una domanda a sé stante per attirare più attenzione.

— Russellpierce,

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Per le persone con una domanda simile, lasciatemi fornire una semplice descrizione della risposta.

$y_1$ $y_2$

$\left(\array{y_1 \\ y_2}\right) = \left(\array{X_1 \ \ 0 \\ 0 \ \ X_2}\right)\left(\array{\beta_1 \\ \beta_2 }\right) + \left(\array{e_1 \\ e_2 }\right)$

Ciò porterà a una matrice di varianza-covarianza che consente di verificare l'uguaglianza dei due coefficienti.

— coffeinjunky
fonte

Ho implementato il modo in cui hai suggerito e confrontato con il modo sopra. Ho trovato la differenza chiave se il presupposto che la varianza dell'errore è la stessa o no. A tuo modo, supponi che la varianza dell'errore sia la stessa e il modo sopra non lo assume.

— KH Kim,

Questo ha funzionato bene per me. In Stata, ho fatto qualcosa del genere: l' expand =2, generate(indicator); generate y = cond(indicator, y2, y1); regress y i.indicator##c.X, vce(cluster id); uso di errori standard cluster tiene conto del fatto che e1 ed e2 non sono indipendenti per la stessa osservazione dopo aver impilato il set di dati.

— wkschwartz,

$Var(\beta_1-\beta2)=Var(\beta_1)+Var(\beta_2)$
$covar(\beta_1,\beta_2) \neq 0$
(Clogg, CC, Petkova, E., & Haritou, A. (1995). Metodi statistici per confrontare i coefficienti di regressione tra modelli. American Journal of Sociology, 100 (5), 1261-1293.) Presenta una risposta nel caso speciale di equazioni nidificate (cioè per ottenere la seconda equazione, considerare la prima equazione e aggiungere alcune variabili esplicative) Dicono che sia facile da implementare.
Se lo capisco bene, in questo caso speciale, può essere implementato anche un test Haussman. La differenza chiave è che il loro test considera vera la seconda equazione (completa), mentre il test di Haussman considera vera la prima equazione.
Si noti che Clogg et al (1995) non sono adatti per i dati del panel. Ma il loro test è stato generalizzato da (Yan, J., Aseltine Jr, RH e Harel, O. (2013). Confronto dei coefficienti di regressione tra modelli lineari nidificati per dati raggruppati con equazioni di stima generalizzate. Journal of Educational and Behavioural Statistics, 38 (2), 172-189.) Con un pacchetto fornito in R: geepack Vedi: https://www.jstor.org/stable/pdf/41999419.pdf?refreqid=excelsior%3Aa0a3b20f2bc68223edb59e3254c234be&seq=1

E (per il pacchetto R): https://cran.r-project.org/web/packages/geepack/index.html

— Alexandre Cazenave-Lacroutz
fonte