Perché la massima probabilità limitata produce una stima (imparziale) migliore della varianza?


11

Sto leggendo il documento teorico di Doug Bates sul pacchetto lme4 di R per capire meglio l'astuzia dei modelli misti, e ho trovato un risultato intrigante che mi piacerebbe capire meglio, sull'utilizzo di REML (Limite massima verosimiglianza) per stimare la varianza .

Nella sezione 3.3 sul criterio REML, afferma che l'uso di REML nella stima della varianza è strettamente correlato all'uso di una correzione della libertà durante la stima della varianza dalle deviazioni residue in un modello lineare adattato. In particolare, "sebbene di solito non derivino in questo modo", i gradi di correzione della libertà possono essere derivati ​​stimando la varianza attraverso l'ottimizzazione di un "criterio REML" (Eq. (28)). Il criterio REML è essenzialmente solo la probabilità, ma i parametri di adattamento lineare sono stati eliminati emarginando (invece di impostarli uguali alla stima di adattamento, che darebbe la varianza del campione distorta).

Ho fatto la matematica e verificato il risultato dichiarato per un modello lineare semplice con solo effetti fissi. Ciò con cui sto lottando è l'interpretazione. C'è qualche prospettiva da cui è naturale derivare una stima della varianza ottimizzando una probabilità in cui i parametri di adattamento sono stati emarginati? Sembra una specie di bayesiano, come se stessi pensando alla probabilità come un posteriore e emarginando i parametri di adattamento come se fossero variabili casuali.

O la giustificazione è principalmente solo matematica - funziona nel caso lineare ma è anche generalizzabile?

Risposte:


4

n1

Gli effetti fissi determinano il modello "per la media", quindi, se è possibile trovare una stima della varianza che è stata derivata senza stimare la media dai dati ("emarginando gli effetti fissi (cioè la media)"), allora questa sottovalutazione di la diffusione (cioè la varianza) sarà mitigata.

Questa è la comprensione "intuitiva" del perché le stime REML eliminano la distorsione; trovi una stima della varianza senza usare la "media stimata".


1

Dai un'occhiata all'APPENDICE: IL METODO DI STIMA DEL REML all'interno di questa risorsa relativa al SAS dell'autore David Dickey.

" Possiamo sempre trovare (n-1) numeri Z con media nota 0 e la stessa somma di quadrati e varianza teorica dei valori n Y. Ciò motiva la divisione della somma Z di quadrati per il numero di Z, che è n -1. "

Quando frequentavo la scuola elementare, REML è stata definita la cosa migliore da quando era stato tagliato il pane. Dallo studio del pacchetto lme4 , ho imparato che non lo generalizza molto bene e forse non è così importante nel grande schema delle cose.


Forse no ... un po 'interessante di matematica e statistiche però.
Paul

Sono d'accordo Paul. Penso che REML sia un ottimo esempio di problem solving elegante e creativo in Statistica. Si sta sicuramente abituando in pratica, e forse è tutto ciò che si può sperare nella ricerca statistica.
Ben Ogorek,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.