Qual è la differenza tra effetti casuali, effetti fissi e modello marginale?

Sto cercando di espandere la mia conoscenza delle statistiche. Vengo da un background di scienze fisiche con un approccio "basato sulla ricetta" ai test statistici, dove diciamo che è continuo, è normalmente distribuito - regressione OLS .

Nella mia lettura mi sono imbattuto nei termini: modello di effetti casuali, modello di effetti fissi, modello marginale. Le mie domande sono:

• In termini molto semplici, cosa sono?
• Quali sono le differenze tra loro?
• C'è qualcuno di loro sinonimi?
• Dove rientrano in questa classificazione i test tradizionali come la regressione OLS, ANOVA e ANCOVA?

Sto solo cercando di decidere dove andare dopo con lo studio personale.

Questa domanda è stata parzialmente discussa in questo sito come di seguito, e le opinioni sembrano contrastanti.

• Qual è la differenza tra modelli a effetti fissi, a caso e a effetti misti?
• Qual è la differenza matematica tra effetti casuali e fissi?
• Concetti dietro modelli di effetti fissi / casuali

Tutti i termini sono generalmente correlati a dati longitudinali / panel / cluster / gerarchici e misure ripetute (nel formato di regressione avanzata e ANOVA), ma hanno significati multipli in diversi contesti. Vorrei rispondere alla domanda in formule basate sulla mia conoscenza.

Modello a effetti fissi

• In biostatistica, gli effetti fissi, indicati come nell'equazione (*) di seguito, di solito si combinano con effetti casuali. Ma il modello a effetti fissi è anche definito per presumere che le osservazioni siano indipendenti, come l'impostazione della sezione trasversale, come in Longitudinal Data Analysis of Hedeker and Gibbons (2006).$\color{red}{\boldsymbol\beta}$
• In econometria, il modello a effetti fissi può essere scritto come where è l'intercetta fissa (non casuale) per ogni soggetto ( ), oppure possiamo anche avere un effetto fisso come per ogni misurazione ripetuta ( ); indica le covariate. $$y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$$ $\color{red}{u_i}$$i$$u_j$$j$$\boldsymbol x_{ij}$
• Nella meta-analisi, il modello a effetto fisso assume che l'effetto sottostante sia lo stesso in tutti gli studi (ad esempio Mantel e Haenszel, 1959).

Modello a effetti casuali

• In biostatistica, il modello a effetti casuali (Laird e Ware, 1982) può essere scritto come dove si presume che segua una distribuzione. indica le covariate per effetti fissi e indica le covariate per effetti casuali. $$\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$$ $\color{blue}{\boldsymbol u_i}$$\boldsymbol x_{ij}$$\boldsymbol z_{ij}$
• In econometria, il modello a effetti casuali può riferirsi solo al modello di intercettazione casuale come nella biostatistica, ovvero e è uno scalare.$\boldsymbol z_{ij}^{'}=1$$\boldsymbol u_i$
• Nella meta-analisi, il modello a effetti casuali assume effetti eterogenei attraverso gli studi (DerSimonian e Laird, 1986).

Modello marginale

Il modello marginale viene generalmente confrontato con il modello condizionale (modello a effetti casuali) e il primo si concentra sulla media della popolazione (prendere un modello lineare per un esempio) mentre quest'ultimo si occupa della media condizionaleL'interpretazione e la scala dei coefficienti di regressione tra modello marginale e modello a effetti casuali sarebbero diverse per i modelli non lineari (ad es. Regressione logistica). Lascia , quindi

$$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$$ $$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$$ $h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$ $$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$$ meno che banalmente la funzione di collegamento sia il collegamento di identità (modello lineare ) o (nessun effetto casuale). Buoni esempi includono equazioni di stima generalizzate (GEE; Zeger, Liang e Albert, 1988) e modelli multilivello emarginati (Heagerty e Zeger, 2000).$h$$u_i=0$

Correggimi se sbaglio qui:

Concettualmente, ci sono quattro possibili effetti: intercetta fissa, coefficiente fisso, intercetta casuale, coefficiente casuale. La maggior parte dei modelli di regressione sono "effetti casuali", quindi hanno intercettazioni casuali e coefficienti casuali. Il termine "effetto casuale" è stato utilizzato in contrasto con "effetto fisso".

L '"effetto fisso" è quando una variabile ha effetto su parte del campione, ma non su tutti. La versione più semplice di un modello a effetti fissi (concettualmente) sarebbe una variabile fittizia, per un effetto fisso con un valore binario. Questi modelli hanno una singola intercettazione casuale, coefficienti di effetto fissi e coefficienti variabili casuali.

Il livello successivo di complicazione (concettualmente) è quando l'effetto fisso non è binario, ma nominale, con molti valori. In questo caso, ciò che viene generato è un modello con molte intercettazioni (una per ciascuno dei valori nominali). Qui è dove si ottengono le classiche "linee multiple" di un modello di dati del pannello , in cui ciascuna delle "opzioni" di una variabile di effetto fisso ottiene il proprio effetto. La virtù di gettare tutte le diverse serie di dati specifici di un fattore in una singola regressione (piuttosto che fare ogni fattore dell'effetto fisso come propria regressione) è che si arriva a riunire la varianza di tutti i diversi effetti in un'unica equazione, e così ottenere valori migliori (più certi) per tutti i tuoi coefficienti.

Il "terzo livello" della complicazione sarebbe quando l '"effetto fisso" è esso stesso una variabile casuale, tranne per il fatto che i suoi effetti sono "fissi" per influenzare solo un sottoinsieme del campione. A quel punto il modello avrebbe un'intercettazione casuale, più intercettazioni fisse e più variabili casuali. Penso che questo sia ciò che è noto come modello di "effetti misti"?

I modelli "a effetto misto" vengono utilizzati per la modellazione multilivello (MLM), in quanto gli "effetti fissi" possono essere utilizzati per annidare un sottoinsieme di dati all'interno di un altro. Questo raggruppamento può avere più livelli, con gli studenti nidificati all'interno delle classi, nidificati all'interno delle scuole. La scuola ha un effetto fisso sulle aule e le aule sugli studenti. (La scuola può o meno essere un effetto fisso sullo studente, a seconda del disegno sperimentale - non sono sicuro)

I modelli di dati del pannello sono modelli di "effetti misti", ma utilizzano due dimensioni per il raggruppamento, in genere tempo e una sorta di categoria.