Qual è il metodo dei momenti e in che cosa differisce dall'MLE?

13

In generale sembra che il metodo dei momenti stia semplicemente abbinando la media campionaria osservata, o varianza con i momenti teorici per ottenere stime dei parametri. Questo è spesso lo stesso di MLE per famiglie esponenziali, mi pare.

Tuttavia, è difficile trovare una chiara definizione del metodo dei momenti e una chiara discussione del perché l'MLE sembra essere generalmente favorito, anche se può essere più complicato trovare la modalità della funzione di probabilità.

Questa domanda MLE è più efficace del metodo Moment? ha una citazione del Prof. Donald Rubin (ad Harvard) che dice che tutti dagli anni '40 sanno che MLE batte MoM, ma sarei interessato a conoscere la storia o il ragionamento per questo.

maximum-likelihood method-of-moments

— frelk
fonte

2

Ecco una presentazione che discute i pro / contro di MLE / MoM: gradquant.ucr.edu/wp-content/uploads/2013/11/…

— Jon

Molte delle risposte sul sito che discutono il metodo dei momenti possono essere rilevanti per aiutarti a capire.

— Glen_b

Vedi anche stats.stackexchange.com/a/129188/28746

— Papadopoulos,

1

@Jon: Dead link.

— Ben - Ripristina Monica il

7

In MoM, lo stimatore viene scelto in modo tale che alcune funzioni abbiano aspettative condizionate pari a zero. Ad esempio . Spesso l'aspettativa è condizionata da . In genere, questo viene convertito in un problema di minimizzare una forma quadratica in queste aspettative con una matrice di peso. $E[g(y,x,\theta)] = 0$ $x$

In MLE, lo stimatore massimizza la funzione di probabilità logaritmica.

In generale, MLE formula ipotesi più rigorose (l'intera densità) ed è quindi generalmente meno robusta ma più efficiente se le assunzioni sono soddisfatte (raggiunge il limite inferiore di Kramer Rao sulla varianza asintotica).

In alcuni casi i due coincidono, essendo OLS un esempio notevole in cui la soluzione analitica è identica e quindi lo stimatore si comporta allo stesso modo.

In un certo senso, puoi pensare a un MLE (in quasi tutti i casi) come uno stimatore MoM perché lo stimatore imposta il valore atteso del gradiente della funzione di verosimiglianza log uguale a zero. In tal senso, ci sono casi in cui la densità non è corretta ma l'MLE è ancora coerente perché le condizioni del primo ordine sono ancora soddisfatte. Quindi MLE viene definito "quasi-ML".

— Superpronker
fonte

4

Di solito, con MoM si fa riferimento al caso in cui la funzione g è un po 'di potenza, quindi l'aspettativa è un momento. Sembra più un "metodo generalizzato dei momenti".

— kjetil b halvorsen,

3

OLS è un metodo per la stima dei momenti (MoME). È anche uno stimatore della massima verosimiglianza (MLE), ma solo per un caso speciale di verosimiglianza - quello normale. Per un'altra distribuzione, OLS non sarà un MLE, mentre è ancora un MoME.

— Richard Hardy,

2

Qual è il metodo dei momenti?

C'è un bell'articolo su questo su Wikipedia.

https://en.m.wikipedia.org/wiki/Method_of_moments_(statistics)

Significa che stai stimando i parametri della popolazione selezionando i parametri in modo tale che la distribuzione della popolazione abbia i momenti equivalenti ai momenti osservati nel campione.

In che modo differisce da MLE

La stima della massima verosimiglianza minimizza la funzione di verosimiglianza. In alcuni casi questo minimo può talvolta essere espresso in termini di impostazione dei parametri della popolazione pari ai parametri del campione.

$\mu = \bar{x}$ $\mu$

μ = 1 / n Σ l n (X_{io}) = \bar{l n (X)}

$\mu = 1/n \sum ln (x_i) = \overline {ln (x)}$

Considerando che la soluzione MoM sta risolvendo

e X p (μ + \frac{1}{2} σ^{2}) = \bar{X}

$exp (\mu + \frac {1}{2}\sigma^2) = \bar {x}$

μ = l n (\bar{X}) - \frac{1}{2} σ^{2}

$\mu = ln (\bar {x}) - \frac {1}{2} \sigma^2$

Quindi il MoM è un modo pratico per stimare i parametri, portando spesso allo stesso esatto risultato dell'MLE (poiché i momenti del campione spesso coincidono con i momenti della popolazione, ad esempio una media campionaria è distribuita intorno alla media della popolazione, e fino a qualche fattore / bias, funziona molto bene). L'MLE ha una base teorica più solida e, ad esempio, consente la stima degli errori utilizzando la matrice Fisher (o le sue stime), ed è un approccio molto più naturale in caso di problemi di regressione (non l'ho provato ma suppongo che un MoM per risolvere i parametri in una semplice regressione linearenon funziona facilmente e può dare risultati negativi. Nella risposta di superpronker sembra che ciò avvenga con una certa minimizzazione di una funzione. Per MLE questa minimizzazione esprime una maggiore probabilità, ma mi chiedo se rappresenti una cosa simile per MoM).

— Sesto Empirico
fonte

1

Quindi, non riesco a superare i commenti ..

MLE formula ipotesi più rigorose (l'intera densità) ed è quindi generalmente meno robusto ma più efficiente se le ipotesi sono soddisfatte

In realtà al MITx " Fundamentals of Statistics " ci viene insegnato il contrario, che il MoM si basa su una specifica equazione dei momenti, e se rileviamo la densità sbagliata, facciamo totalmente torto, mentre MLE è più resiliente, in quanto minimizziamo in ogni caso la divergenza di KD ..

— Antonello
fonte

La mancanza di reputazione non è una scusa legittima per utilizzare lo spazio di una risposta per un commento.

— Michael R. Chernick,