Qual è la differenza matematica tra effetti casuali e fissi?

Ho trovato molto su Internet per quanto riguarda l'interpretazione di effetti casuali e fissi. Tuttavia non sono riuscito a ottenere una fonte che fissa quanto segue:

Qual è la differenza matematica tra effetti casuali e fissi?

Con questo intendo la formulazione matematica del modello e il modo in cui i parametri sono stimati.

Il modello più semplice con effetti casuali è il modello ANOVA a senso unico con effetti casuali, dato dalle osservazioni con ipotesi distributive: ( y i j ∣ μ i ) ∼ iid N ( μ i , σ 2 w ) $y_{ij}$

Qui gli effetti casuali sono i . Sono variabili casuali, mentre sono numeri fissi nel modello ANOVA con effetti fissi.$\mu_i$

Ad esempio ognuna delle tre tecnici in un laboratorio registra una serie di misurazioni e è il misurazione -esimo di tecnico . Chiama il "vero valore medio" della serie generata dal tecnico ; questo è un parametro di un po 'artificiale, è possibile vedere come il valore medio che tecnico sarebbe ottenuto se lui / lei aveva registrato un enorme serie di misurazioni.y i j j i μ i i μ i$i=1,2,3$$y_{ij}$$j$$i$$\mu_i$$i$$\mu_i$$i$

Se sei interessato a valutare , , (ad esempio per valutare la distorsione tra operatori), devi usare il modello ANOVA con effetti fissi.μ 2 μ $\mu_1$$\mu_2$$\mu_3$

Devi usare il modello ANOVA con effetti casuali quando sei interessato alle varianze e definiscono il modello e alla varianza totale (vedi sotto). La varianza è la varianza delle registrazioni generate da un tecnico (si presume che sia la stessa per tutti i tecnici) e è chiamata varianza tra tecnici. Forse idealmente, i tecnici dovrebbero essere scelti a caso. σ 2 b σ 2 b + σ 2 w σ 2 w σ 2 $\sigma^2_w$$\sigma^2_b$ $\sigma^2_b+\sigma^2_w$$\sigma^2_w$$\sigma^2_b$

Questo modello riflette la decomposizione della formula di varianza per un campione di dati:

Varianza totale = varianza delle medie medie delle intra-varianze$+$

che si riflette nel modello ANOVA con effetti casuali:

In effetti, la distribuzione di è definita dalla sua distribuzione condizionale data e dalla distribuzione di . Se si calcola la distribuzione "incondizionata" di allora troviamo .$y_{ij}$μ i μ i y i j y i j ∼ N ( μ , σ 2 b + σ 2 w$(y_{ij})$$\mu_i$$\mu_i$$y_{ij}$$\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

Vedi la diapositiva 24 e la diapositiva 25 qui per immagini migliori (devi salvare il file pdf per apprezzare le sovrapposizioni, non guardare la versione online).

Fondamentalmente, ciò che penso sia la differenza più distinta se si modella un fattore come casuale, è che si presume che gli effetti siano tratti da una distribuzione normale comune.

Ad esempio, se si dispone di una sorta di modello per quanto riguarda i voti e si desidera tenere conto dei dati dei propri studenti provenienti da scuole diverse e si modella la scuola come fattore casuale, ciò significa che si presume che le medie per scuola siano normalmente distribuite. Ciò significa che due fonti di variazione sono la modellizzazione: la variabilità a scuola dei voti degli studenti e la variabilità tra le scuole.

Ciò si traduce in qualcosa chiamato pool parziale . Considera due estremi:

1. La scuola non ha alcun effetto (tra la variabilità della scuola è zero). In questo caso sarebbe ottimale un modello lineare che non tiene conto della scuola.
2. La variabilità della scuola è maggiore della variabilità degli studenti. Quindi in pratica devi lavorare a livello di scuola anziché a livello di studenti (meno # campioni). Questo è fondamentalmente il modello in cui conti la scuola usando effetti fissi. Questo può essere problematico se hai pochi campioni per scuola.

Stimando la variabilità ad entrambi i livelli, il modello misto fa un intelligente compromesso tra questi due approcci. Soprattutto se hai un #student non così grande per scuola, questo significa che otterrai un restringimento degli effetti per le singole scuole come stimato dal modello 2 verso la media complessiva del modello 1.

Questo perché i modelli dicono che se hai una scuola con due studenti inclusi, che è meglio di ciò che è "normale" per la popolazione delle scuole, è probabile che una parte di questo effetto sia spiegata dal fatto che la scuola è stata fortunata nella scelta dei due studenti hanno guardato. Non lo fa alla cieca, lo fa in base alla stima della variabilità all'interno della scuola. Ciò significa anche che i livelli di effetto con un minor numero di campioni sono maggiormente spinti verso la media complessiva rispetto alle grandi scuole.

L'importante è che sia necessario scambiare i livelli del fattore casuale. Ciò significa che in questo caso le scuole sono (per tua conoscenza) scambiabili e tu non sai nulla che le rende distinte (tranne una sorta di documento d'identità). Se si dispone di ulteriori informazioni, è possibile includerle come ulteriore fattore, è sufficiente che le scuole siano scambiabili a seconda delle altre informazioni considerate.

Ad esempio, avrebbe senso presumere che gli adulti di 30 anni che vivono a New York siano scambiabili a seconda del genere. Se si dispone di ulteriori informazioni (età, etnia, istruzione), sarebbe opportuno includere anche tali informazioni.

OTH se hai studiato con un gruppo di controllo e tre gruppi di malattie selvaggiamente differenti, non ha senso modellare il gruppo come casuale poiché una malattia specifica non è scambiabile. Tuttavia, a molte persone piace l'effetto di restringimento così bene che discuterebbero ancora per un modello di effetti casuali, ma questa è un'altra storia.

Ho notato che non ho approfondito troppo la matematica, ma sostanzialmente la differenza è che il modello a effetti casuali ha stimato un errore normalmente distribuito sia a livello di scuole che a livello di studenti mentre il modello a effetti fissi ha l'errore solo su il livello degli studenti. Soprattutto ciò significa che ogni scuola ha il proprio livello che non è collegato agli altri livelli da una distribuzione comune. Ciò significa anche che il modello fisso non consente l'estrapolazione a uno studente della scuola non incluso nei dati originali mentre il modello a effetti casuali lo fa, con una variabilità che è la somma del livello dello studente e della variabilità a livello di scuola. Se sei particolarmente interessato alla probabilità, potremmo lavorarci su.

Nella terra di econ, tali effetti sono intercettazioni (o costanti) specifiche per individuo che non sono osservate, ma che possono essere stimate utilizzando i dati del panel (osservazione ripetuta sulle stesse unità nel tempo). Il metodo di stima degli effetti fissi consente la correlazione tra le intercettazioni specifiche dell'unità e le variabili esplicative indipendenti. Gli effetti casuali no. Il costo dell'utilizzo degli effetti fissi più flessibili è che non è possibile stimare il coefficiente su variabili invarianti nel tempo (come genere, religione o razza).

NB Altri campi hanno una propria terminologia, che può essere piuttosto confusa.

In un pacchetto software standard (ad es. R lmer), la differenza di base è:

• gli effetti fissi sono stimati con la massima verosimiglianza (minimi quadrati per un modello lineare)
• gli effetti casuali sono stimati da Bayes empirici (minimi quadrati con una certa contrazione per un modello lineare, in cui il parametro di contrazione è scelto con la massima probabilità)

Se stai diventando bayesiano (ad esempio WinBUGS), allora non c'è vera differenza.

@Joke Un modello a effetti fissi implica che la dimensione dell'effetto generata da uno studio (o un esperimento) è fissa, ovvero la ripetizione delle misurazioni per un intervento ha la stessa dimensione di effetto. Presumibilmente, le condizioni esterne e interne per l'esperimento non cambiano. Se hai una serie di prove e / o studi in condizioni diverse, avrai dimensioni di effetto diverse. Le stime parametriche di media e varianza per un insieme di dimensioni dell'effetto possono essere realizzate presumendo che si tratti di effetti fissi o di effetti casuali (realizzati da una superpopolazione). Penso che la materia possa essere risolta con l'aiuto di statistiche matematiche.