In termini semplici, come spiegheresti (forse con semplici esempi) la differenza tra modelli a effetti fissi, a caso e a effetti misti?

Lo statistico Andrew Gelman afferma che i termini "effetto fisso" e "effetto casuale" hanno significati variabili a seconda di chi li utilizza. Forse puoi scegliere quale delle 5 definizioni si applica al tuo caso. In generale può essere meglio cercare equazioni che descrivono il modello di probabilità che gli autori stanno utilizzando (durante la lettura) o scrivere l'intero modello di probabilità che si desidera utilizzare (durante la scrittura).

Qui delineamo cinque definizioni che abbiamo visto:

1. Gli effetti fissi sono costanti tra gli individui e gli effetti casuali variano. Ad esempio, in uno studio sulla crescita, un modello con intercettazioni casuali e pendenza fissa corrisponde a linee parallele per diversi individui , oppure il modello . Kreft e De Leeuw (1998) distinguono quindi tra coefficienti fissi e casuali. b i y i t = a i + b $a_i$$b$$i$$y_{it} = a_i + b t$

2. Gli effetti sono fissi se sono interessanti in se stessi o casuali se vi è interesse per la popolazione sottostante. Searle, Casella e McCulloch (1992, Sezione 1.4) esplorano questa distinzione in profondità.

3. “Quando un campione esaurisce la popolazione, viene fissata la variabile corrispondente; quando il campione è una piccola parte (cioè trascurabile) della popolazione, la variabile corrispondente è casuale. ”(Green and Tukey, 1960)

4. "Se si presume che un effetto sia un valore realizzato di una variabile casuale, viene chiamato un effetto casuale." (LaMotte, 1983)

5. Gli effetti fissi sono stimati usando i minimi quadrati (o, più in generale, la massima probabilità) e gli effetti casuali sono stimati con il restringimento ("previsione imparziale lineare" nella terminologia di Robinson, 1991). Questa definizione è standard nella letteratura sulla modellazione multilivello (vedi, ad esempio, Snijders e Bosker, 1999, Sezione 4.2) e in econometria.

[ Gelman, 2004, Analisi della varianza: perché è più importante che mai. Gli annali delle statistiche. ]

Ci sono buoni libri su questo come Gelman e Hill . Ciò che segue è essenzialmente un riassunto della loro prospettiva.

Prima di tutto, non dovresti essere troppo preso dalla terminologia. In statistica, il gergo non dovrebbe mai essere usato come sostituto di una comprensione matematica dei modelli stessi. Ciò è particolarmente vero per i modelli di effetti casuali e misti. "Misto" significa solo che il modello ha effetti sia fissi che casuali, quindi concentriamoci sulla differenza tra fisso e casuale.

Effetti casuali contro effetti fissi

Supponiamo che tu abbia un modello con un predittore categorico, che divide le tue osservazioni in gruppi in base ai valori della categoria. * I coefficienti del modello, o "effetti", associati a quel predittore possono essere fissi o casuali. La differenza pratica più importante tra i due è questa:

Gli effetti casuali sono stimati con un pool parziale, mentre gli effetti fissi no.

Il raggruppamento parziale significa che, se si hanno pochi punti dati in un gruppo, la stima dell'effetto del gruppo si baserà parzialmente sui dati più abbondanti di altri gruppi. Questo può essere un buon compromesso tra la stima di un effetto raggruppando completamente tutti i gruppi, che maschera la variazione a livello di gruppo e la stima di un effetto per tutti i gruppi completamente separatamente, il che potrebbe dare scarse stime per i gruppi a basso campione.

Gli effetti casuali sono semplicemente l'estensione della tecnica di pooling parziale come modello statistico generale. Ciò consente l'applicazione di principio dell'idea in un'ampia varietà di situazioni, inclusi predittori multipli, variabili miste continue e categoriali e strutture di correlazione complesse. (Ma con un grande potere derivano grandi responsabilità: la complessità della modellazione e dell'inferenza è sostanzialmente aumentata e può dare origine a sottili pregiudizi che richiedono una notevole raffinatezza per evitare.)

Per motivare il modello di effetti casuali, chiediti: perché dovresti raggruppare parzialmente? Probabilmente perché pensi che i piccoli sottogruppi facciano parte di un gruppo più grande con un effetto medio comune. Le medie dei sottogruppi possono discostarsi leggermente dalla media dei grandi gruppi, ma non di una quantità arbitraria. Per formalizzare quell'idea, riteniamo che le deviazioni seguano una distribuzione, tipicamente gaussiana. È qui che entra in gioco il "random" in effetti random: stiamo assumendo che le deviazioni dei sottogruppi da un genitore seguano la distribuzione di una variabile casuale. Una volta che hai in mente questa idea, le equazioni del modello a effetti misti seguono naturalmente.

$\ell_2$

Sfortunatamente, la confusione del concetto causata da questi termini ha portato a una profusione di definizioni contrastanti . Delle cinque definizioni a questo link, solo il numero 4 è completamente corretto nel caso generale, ma è anche del tutto non informativo. Devi leggere interi articoli e libri (o, in mancanza, questo post) per capire cosa implica quella definizione nel lavoro pratico.

Esempio

Vediamo un caso in cui la modellazione di effetti casuali potrebbe essere utile. Supponiamo di voler stimare il reddito familiare medio degli Stati Uniti per codice postale. Hai un ampio set di dati contenente osservazioni sui redditi delle famiglie e sui codici postali. Alcuni codici postali sono ben rappresentati nel set di dati, ma altri hanno solo un paio di famiglie.

Per il tuo modello iniziale molto probabilmente otterrai il reddito medio in ogni ZIP. Funzionerà bene quando hai molti dati per un ZIP, ma le stime per i tuoi ZIP scarsamente campionati soffriranno di una varianza elevata. Puoi mitigarlo usando uno stimatore di contrazione (aka pooling parziale), che spingerà valori estremi verso il reddito medio in tutti i codici postali.

Ma quanta contrazione / pooling dovresti fare per un determinato ZIP? Intuitivamente, dovrebbe dipendere da quanto segue:

1. Quante osservazioni hai in quel ZIP
2. Quante osservazioni hai nel complesso
3. La media a livello individuale e la varianza del reddito familiare attraverso tutti i codici postali
4. La varianza a livello di gruppo nel reddito familiare medio in tutti i codici postali

Se si modella il codice postale come un effetto casuale, la stima del reddito medio in tutti i codici postali sarà soggetta a una riduzione statisticamente fondata, tenendo conto di tutti i fattori di cui sopra.

La parte migliore è che i modelli di effetti casuali e misti gestiscono automaticamente (4), la stima della variabilità, per tutti gli effetti casuali nel modello. Questo è più difficile di quanto sembri a prima vista: potresti provare la varianza della media del campione per ogni ZIP, ma questo sarà di parte, perché una parte della varianza tra le stime per diversi ZIP è solo la varianza di campionamento. In un modello a effetti casuali, il processo di inferenza tiene conto della varianza di campionamento e riduce di conseguenza la stima della varianza.

Avendo considerato (1) - (4), un modello di effetti casuali / misti è in grado di determinare la contrazione appropriata per gruppi a basso campione. Può anche gestire modelli molto più complicati con molti predittori diversi.

Relazione con la gerarchia bayesiana

Se questo suona come un modello gerarchico bayesiano per te, hai ragione: è un parente stretto ma non identico. I modelli di effetti misti sono gerarchici in quanto sostengono distribuzioni per parametri latenti e non osservati, ma in genere non sono completamente bayesiani perché agli iperparametri di livello superiore non verranno dati i priori appropriati. Ad esempio, nell'esempio sopra, molto probabilmente tratteremmo il reddito medio in un dato ZIP come un campione da una distribuzione normale, con media e sigma sconosciute da stimare mediante il processo di adattamento ad effetti misti. Tuttavia, un modello di effetti misti (non bayesiani) in genere non avrà una precedenza sulla media e sul sigma sconosciuti, quindi non è completamente bayesiano. Detto questo, con un set di dati di dimensioni decenti, il modello standard di effetti misti e la variante completamente bayesiana daranno spesso risultati molto simili.

* Mentre molti trattamenti di questo argomento si concentrano su una definizione ristretta di "gruppo", il concetto è in effetti molto flessibile: è solo un insieme di osservazioni che condividono una proprietà comune. Un gruppo potrebbe essere composto da più osservazioni di una singola persona, o più persone in una scuola, o più scuole in un distretto, o più varietà di un singolo tipo di frutta, o più tipi di verdura dello stesso raccolto o più raccolti dello stesso tipo di verdura, ecc. Qualsiasi variabile categoriale può essere utilizzata come variabile di raggruppamento.

Ne ho scritto in un capitolo di un libro su modelli misti (capitolo 13 in Fox, Negrete-Yankelevich e Sosa 2014 ); le pagine pertinenti (pagg. 311-315) sono disponibili su Google Libri . Penso che la domanda si riduca a "quali sono le definizioni di effetti fissi e casuali?" (un "modello misto" è solo un modello che contiene entrambi). La mia discussione dice un po 'meno sulla loro definizione formale (per la quale rimanderei al documento Gelman collegato dalla risposta di @ JohnSalvatier sopra) e più sulle loro proprietà pratiche e utilità. Ecco alcuni estratti:

La visione tradizionale degli effetti casuali è un modo per eseguire test statistici corretti quando alcune osservazioni sono correlate.

Possiamo anche pensare agli effetti casuali come un modo per combinare informazioni da diversi livelli all'interno di una variabile di raggruppamento.

Gli effetti casuali sono particolarmente utili quando abbiamo (1) molti livelli (ad esempio, molte specie o blocchi), (2) dati relativamente scarsi su ogni livello (anche se abbiamo bisogno di più campioni dalla maggior parte dei livelli) e (3) irregolari campionamento tra i livelli (casella 13.1).

Frequentisti e bayesiani definiscono gli effetti casuali in modo leggermente diverso, il che influenza il modo in cui li usano. I frequentatori definiscono gli effetti casuali come variabili categoriche i cui livelli sono scelti a caso da una popolazione più ampia, ad esempio, le specie scelte a caso da un elenco di specie endemiche. I bayesiani definiscono effetti casuali come insiemi di variabili i cui parametri sono [tutti] tratti dalla [stessa] distribuzione. La definizione di frequentista è filosoficamente coerente e incontrerai ricercatori (inclusi revisori e supervisori) che insistono su di esso, ma può essere praticamente problematico. Ad esempio, implica che non puoi utilizzare le specie come effetto casuale quando hai osservato tutte le specie nel tuo sito di campo, poiché l'elenco delle specie non è un campione di una popolazione più ampia o usa l'anno come effetto casuale, poiché i ricercatori raramente eseguono un esperimento in anni campionati casualmente: di solito usano una serie di anni consecutivi o l'insieme casuale di anni in cui potevano entrare in campo.

Gli effetti casuali possono anche essere descritti come variabili predittive in cui sei interessato a fare inferenze sulla distribuzione dei valori (cioè la varianza tra i valori della risposta a diversi livelli) piuttosto che testare le differenze di valori tra livelli particolari.

Le persone a volte dicono che gli effetti casuali sono "fattori che non ti interessano". Questo non è sempre vero. Mentre è spesso il caso di esperimenti ecologici (in cui la variazione tra i siti è di solito solo un fastidio), a volte è di grande interesse, ad esempio in studi evolutivi in ​​cui la variazione tra genotipi è la materia prima per la selezione naturale o in studi demografici dove le variazioni annue riducono i tassi di crescita a lungo termine. In alcuni casi, gli effetti fissi vengono utilizzati anche per controllare variazioni non interessanti, ad esempio, usando la massa come covariata per controllare gli effetti delle dimensioni del corpo.

Sentirai anche che "non puoi dire nulla sul valore (previsto) di una modalità condizionale". Neanche questo è vero: non puoi formalmente testare un'ipotesi nulla che il valore sia uguale a zero o che i valori di due diversi livelli sono uguali, ma è ancora perfettamente sensato esaminare il valore previsto e persino calcolare un errore standard del valore previsto (ad esempio, vedere le barre di errore attorno alle modalità condizionali nella figura 13.1).

$\textrm{species_mean} \sim {\cal N}(\textrm{genus_mean}, \sigma^2_{\textrm{species}})$

Ho detto sopra che gli effetti casuali sono più utili quando la variabile di raggruppamento ha molti livelli misurati. Al contrario, gli effetti casuali sono generalmente inefficaci quando la variabile di raggruppamento ha troppi livelli. Di solito non puoi usare effetti casuali quando la variabile di raggruppamento ha meno di cinque livelli e le stime della varianza degli effetti casuali sono instabili con meno di otto livelli, perché stai provando a stimare una varianza da un campione molto piccolo.

Effetto fisso: qualcosa che lo sperimentatore manipola direttamente ed è spesso ripetibile, ad esempio la somministrazione di farmaci: un gruppo riceve droga, un gruppo riceve placebo.

Effetto casuale: fonte di variazioni casuali / unità sperimentali, ad esempio individui prelevati (a caso) da una popolazione per una sperimentazione clinica. Gli effetti casuali stimano la variabilità

Effetto misto: include entrambi, l'effetto fisso in questi casi sta stimando i coefficienti a livello di popolazione, mentre gli effetti casuali possono tenere conto delle differenze individuali in risposta a un effetto, ad esempio, ogni persona riceve sia il farmaco che il placebo in diverse occasioni, il fisso l'effetto stima l'effetto del farmaco, i termini degli effetti casuali consentirebbero a ciascuna persona di rispondere al farmaco in modo diverso.

Categorie generali di effetti misti: misure ripetute, longitudinali, gerarchiche, a trama divisa.

Sono arrivato a questa domanda da qui , un possibile duplicato.

Esistono già diverse risposte eccellenti, ma come indicato nella risposta accettata, ci sono molti usi diversi (ma correlati) del termine, quindi potrebbe essere utile dare la prospettiva come impiegato in econometria, che non sembra ancora essere affrontata qui .

$$y_{it}=X_{it}\delta+\alpha_i+\eta_{it},$$ $\alpha_i$$\eta_{it}$

$\alpha_i$

$\alpha_i$$X_{it}$$Cov(\alpha_i,X_{it})=0$

$y$$X$$y_{it}$$X_{it}$

$\alpha_i$$X_{it}$$i$$X_{it}=0$$X_{it}$

$\delta$$t$$\alpha_i$$X_{it}$

$T$m

Ecco il codice che genera i dati e che produce una stima RE positiva e una stima FE "corretta", negativa. (Detto questo, le stime di RE saranno spesso negative anche per altri semi, vedi sopra).

library(Jmisc)
library(plm)
library(RColorBrewer)
# FE illustration
set.seed(324)
m = 8
n = 12

step = 5
alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))
beta = -1
y = X = matrix(NA,nrow=m,ncol=n)
for (i in 1:n) {
  X[,i] = runif(m,i,i+1)
  X[,i] = rnorm(m,i)
  y[,i] = alpha[i] + X[,i]*beta + rnorm(m,sd=.75)  
}
stackX = as.vector(X)
stackY = as.vector(y)

darkcols <- brewer.pal(12, "Paired")
plot(stackX,stackY,col=rep(darkcols,each=m),pch=19)

unit = rep(1:n,each=m)
# first two columns are for plm to understand the panel structure
paneldata = data.frame(unit,rep(1:m,n),stackY,stackX) 
fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

L'output:

> fe

Model Formula: stackY ~ stackX

Coefficients:
 stackX 
-1.0451 


> re

Model Formula: stackY ~ stackX

Coefficients:
(Intercept)      stackX 
   18.34586     0.77031 

La distinzione è significativa solo nel contesto delle statistiche non bayesiane. Nelle statistiche bayesiane, tutti i parametri del modello sono "casuali".

In econometria, i termini sono generalmente applicati in modelli lineari generalizzati, in cui il modello è della forma

$$y_{it} = g(x_{it} \beta + \alpha_i + u_{it}).$$

$\alpha_i \perp u_{it}$

$\alpha_i \not \perp u_{it}$

Nei modelli lineari , la presenza di un effetto casuale non provoca incoerenza con lo stimatore OLS. Tuttavia, l'uso di uno stimatore di effetti casuali (come i minimi quadrati generalizzati realizzabili) si tradurrà in uno stimatore più efficiente .

Nei modelli non lineari , come probit, tobit, ..., la presenza di un effetto casuale comporterà, in generale, uno stimatore incoerente. L'uso di uno stimatore di effetti casuali ripristinerà quindi la coerenza.

Sia per i modelli lineari che per quelli non lineari, gli effetti fissi producono una distorsione. Tuttavia, nei modelli lineari ci sono trasformazioni che possono essere utilizzate (come le prime differenze o il degrado), in cui OLS sui dati trasformati comporterà stime coerenti. Per i modelli non lineari, ci sono alcune eccezioni in cui esistono trasformazioni, il logit degli effetti fissi ne è un esempio.

Esempio: probit di effetti casuali. supporre

$$y^*_{it} = x_{it} \beta + \alpha_i + u_{it}, \quad \alpha_i \sim \mathcal{N}(0,\sigma_\alpha^2), u_{it} \sim \mathcal{N}(0,1).$$

e il risultato osservato è

$$y_{it} = \mathbb{1}(y^*_{it} > 0).$$

Lo stimatore della massima probabilità aggregata riduce al minimo la media del campione di

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \prod_{t=1}^T [G(x_{it}\beta)]^{y_{it}} [1 - G(x_{it}\beta)] ^{1-y_{it}}.$$

Naturalmente, qui il registro e il prodotto semplificano, ma per ragioni pedagogiche, questo rende l'equazione più paragonabile allo stimatore di effetti casuali, che ha la forma

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \int \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}} \phi(a) \mathrm{d}a.$$

Ad esempio, possiamo approssimare l'integrale mediante randomizzazione prendendo disegni di normali casuali e valutando la probabilità per ciascuno.$R$

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log R^{-1} \sum_{r=1}^R \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a_r)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}},\quad a_r \sim \mathcal{N}(0,1).$$

L'intuizione è la seguente: non sappiamo che tipo, , ogni osservazione è. Invece, valutiamo il prodotto delle probabilità nel tempo per una sequenza di pareggi. Il tipo più probabile per l'osservazione avrà il più alto rischio in tutti i periodi e pertanto dominare il contributo verosimiglianza per quel -sequence di osservazioni.$\alpha_i$$i$$T$

Non proprio una definizione formale, ma mi piacciono le seguenti diapositive: Modelli misti e perché i sociolinguisti dovrebbero usarli ( specchio ), da Daniel Ezra Johnson. Un breve riassunto "è offerto nella diapositiva 4. Sebbene sia principalmente incentrato su studi psicolinguistici, è molto utile come primo passo.

Un'altra prospettiva molto pratica sui modelli di effetti casuali e fissi viene dall'econometria quando si eseguono regressioni lineari sui dati del pannello . Se si sta valutando l'associazione tra una variabile esplicativa e una variabile di risultato in un set di dati con più campioni per individuo / gruppo, questo è il framework che si desidera utilizzare.

Un buon esempio di dati del panel sono le misurazioni annuali da un insieme di individui di:

• $gender_i$ (genere del ° persona)$i$
• ${\Delta}weight_{it}$ (variazione di peso durante l'anno per la persona )$t$$i$
• $exercise_{it}$ (esercizio giornaliero medio durante l'anno per persona )$t$$i$

Se stiamo cercando di capire la relazione tra esercizio fisico e cambiamento di peso, imposteremo la seguente regressione:

e x e r c i s e i t + β 1 g e n d e r i + α i + ε i ${\Delta}weight_{it} = \beta_0$$exercise_{it} + \beta_1gender_i + \alpha_i + \epsilon_{it}$

• $\beta_0$ è la quantità di interesse
• $\beta_1$ non è interessante, stiamo solo controllando il genere con esso
• $\alpha_i$ è l'intercettazione individuale
• $\epsilon_{it}$ è il termine di errore

In una configurazione come questa c'è il rischio di endogeneità. Ciò può accadere quando variabili non misurate (come lo stato civile) sono associate sia all'esercizio fisico che al cambiamento di peso. Come spiegato a p.16 in questa lezione di Princeton , un modello a effetti casuali (effetti misti AKA) è più efficiente di un modello a effetti fissi. Tuttavia, attribuirà erroneamente alcuni degli effetti della variabile non sulla variazione di peso all'esercizio, producendo un errato e potenzialmente un significato statistico più elevato di quanto sia valido. In questo caso il modello degli effetti casuali non è uno stimatore coerente di .β $\beta_0$$\beta_0$

Un modello a effetti fissi (nella sua forma più semplice) controlla eventuali variabili non misurate che sono costanti nel tempo ma variano tra gli individui includendo esplicitamente un termine di intercettazione separato per ciascun individuo ( ) nell'equazione di regressione. Nel nostro esempio, controllerà automaticamente gli effetti confondenti del genere, nonché eventuali confonditori non misurati (stato civile, stato socioeconomico, livello di istruzione, ecc.). In effetti, il genere non può essere incluso nella regressione e non può essere stimato da un modello a effetti fissi, poiché è collineare con quello di .β 1 g e n d e r i α $\alpha_i$$\beta_1$$gender_i$$\alpha_i$

Quindi, la domanda chiave è determinare quale modello è appropriato. La risposta è il test di Hausman . Per usarlo eseguiamo la regressione sia degli effetti fissi che casuali, quindi applichiamo il test di Hausman per vedere se le loro stime dei coefficienti divergono in modo significativo. Se divergono, l'endogeneità è in gioco e un modello a effetti fissi è la scelta migliore. Altrimenti, andremo con effetti casuali.