Quando la massima probabilità e il metodo dei momenti producono gli stessi stimatori?


17

Mi è stata posta questa domanda l'altro giorno e non l'avevo mai considerata prima.

La mia intuizione deriva dai vantaggi di ogni stimatore. La massima probabilità è preferibilmente quando siamo fiduciosi nel processo di generazione dei dati perché, a differenza del metodo dei momenti, si avvale della conoscenza dell'intera distribuzione. Poiché gli stimatori MoM utilizzano solo le informazioni contenute nei momenti, sembra che i due metodi dovrebbero produrre le stesse stime quando le statistiche sufficienti per il parametro che stiamo tentando di stimare sono esattamente i momenti dei dati.

Ho verificato questo risultato con alcune distribuzioni. Normale (media e varianza sconosciute), esponenziale e Poisson hanno tutte statistiche sufficienti pari ai loro momenti e hanno gli stessi stimatori MLE e MoM (non strettamente vero per cose come Poisson dove ci sono più stimatori MoM). Se guardiamo a Uniform , la statistica sufficiente per è e gli stimatori MoM e MLE sono diversi.(0,θ)θmax(X1,,XN)

Ho pensato che forse fosse una stranezza della famiglia esponenziale, ma per un Laplace con media nota la statistica sufficiente è 1n|Xi|e il MLE e lo stimatore MoM per la varianza non sono uguali.

Finora non sono stato in grado di mostrare alcun tipo di risultato in generale. Qualcuno sa di condizioni generali? O anche un contro esempio mi aiuterebbe a perfezionare il mio intuito.


4
MM e MLE coincidono per il parametro canonico in famiglie esponenziali. Ma fare una trasformazione significherebbe generalmente perdere questa equivalenza (come suggerito anche dalla risposta di Xi'an).
Hejseb,

Risposte:


16

Una risposta generale è che uno stimatore basato su un metodo dei momenti non è invariante da un cambiamento biettivo della parametrizzazione, mentre uno stimatore della massima verosimiglianza è invariante. Pertanto, non coincidono quasi mai. (Quasi mai attraverso tutte le possibili trasformazioni.)

Inoltre, come indicato nella domanda, ci sono molti stimatori MoM. Un'infinità di loro, in realtà. Ma sono tutti basati sulla distribuzione empirica, , che può essere vista come una MLE non parametrica di , sebbene ciò non si riferisca alla domanda.F^F

In realtà, un modo più appropriato di inquadrare la domanda sarebbe quello di porre una stima quando è sufficiente un momento, ma questo costringe la distribuzione dei dati a provenire da una famiglia esponenziale, dal lemma di Pitman-Koopman, un caso in cui la risposta è già conosciuto.

Nota: nella distribuzione di Laplace, quando la media è nota, il problema è equivalente all'osservazione dei valori assoluti, che sono quindi variate esponenziali e parte di una famiglia esponenziale.


1
Esiste in generale una parametrizzazione per la quale MM e MLE sono uguali?
Upside

1
Per le famiglie esponenziali, la parametrizzazione media porta a un'uguaglianza. Al di fuori delle famiglie esponenziali, non ne sono così sicuro.
Xi'an,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.