Lo stimatore imparziale della massima verosimiglianza è sempre il miglior stimatore imparziale?

22

So che per problemi regolari, se abbiamo uno stimatore imparziale regolare migliore, deve essere lo stimatore di massima verosimiglianza (MLE). Ma in generale, se abbiamo un MLE imparziale, sarebbe anche il miglior stimatore imparziale (o forse dovrei chiamarlo UMVUE, purché abbia la varianza più piccola)?

mathematical-statistics maximum-likelihood unbiased-estimator

— Gary Cheng
fonte

3

Domanda interessante. L'MLE è una funzione della statistica sufficiente e gli UMVUE possono essere ottenuti condizionando statistiche complete e sufficienti. Quindi, se MLE è imparziale (e una funzione della statistica sufficiente), l'unico modo possibile per non avere una varianza minima è se la statistica sufficiente non è completa. Ho provato a trovare un esempio, ma non ho avuto successo.

— Greenparker,

2

Ed ecco alcune brevi informazioni su statistiche sufficienti e complete.

— Richard Hardy,

10

Il vero problema è che il MLE è raramente imparziale: se è lo stimatore imparziale di e il MLE di , è il MLE di ma è distorto per la maggior parte trasformazioni biiettive .

θ

$\theta$

θ

$\theta$

θ

$\theta$

f (\hat{θ})

$f(\hat\theta)$

f (θ)

$f(\theta)$

f

$f$

— Xi'an,

1

Questo è rilevante? "Uno stimatore quasi imparziale della media della popolazione" Vyas Dubey Pt.Ravishankar Shukla University, Raipur, India

2

+1 per il commento di Xi'an. Il miglior stimatore significa varianza minima, imparziale significa qualcos'altro. Quindi non sono sicuro che puoi iniziare a provare a dimostrarlo, dal momento che uno ha poco a che fare con l'altro. Ma prima ancora di iniziare la mia derivazione, mi piacerebbe vedere alcuni seri sforzi nella (prova di a) prova. Direi che anche la prova della prima affermazione (MLE è ottimale per alcuni casi) non è banale.

— Cherubino

13

A mio avviso, la domanda non è veramente coerente in quanto la massimizzazione di una probabilità e imparzialità non vanno d'accordo, anche solo perché gli stimatori della massima verosimiglianza sono equivalenti , ovvero la trasformazione dello stimatore è lo stimatore della trasformazione del parametro, mentre l'imparzialità non sta sotto trasformazioni non lineari. Pertanto, gli stimatori della massima verosimiglianza non sono quasi mai imparziali, se "quasi" viene considerato nell'intervallo di tutte le possibili parametrizzazioni.

Tuttavia, esiste una risposta più diretta alla domanda: se si considera la stima della varianza normale, , l'UMVUE di è mentre il MLE di è Ergo, differiscono. Questo implica che $\sigma^2$ $\sigma^2$

{\hat{σ}}_{n}^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

{\overset{ˇ}{σ}}_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

se disponiamo di uno stimatore imparziale regolare migliore, deve essere lo stimatore di massima verosimiglianza (MLE).

non regge in generale.

Si noti inoltre che, anche quando esistono stimatori imparziali di un parametro , non esiste necessariamente un miglior stimatore di varianza minima imparziale (UNMVUE). $\theta$

— Xi'an
fonte

Quindi possiamo dire che un MLE imparziale è un (U) MVUE, ma non ogni (U) MVUE è il MLE?

— Sesto Empirico

2

No, non abbiamo motivo di credere che ciò sia vero in generale.

— Xi'an,

13

Ma in generale, se avessimo un MLE imparziale, sarebbe anche il miglior stimatore imparziale?

Se sono disponibili statistiche complete complete, sì .

Prova:

Teorema di Lehmann-Scheffé : qualsiasi stimatore imparziale che è una funzione di statistiche complete sufficienti è il migliore (UMVUE).
MLE è una funzione di qualsiasi statistica sufficiente. Vedi 4.2.3 qui ;

Pertanto un MLE imparziale è necessariamente il migliore finché esiste una statistica completa sufficiente.

Ma in realtà questo risultato non ha quasi nessun caso di applicazione poiché non esiste quasi mai una statistica completa completa. È perché esistono statistiche sufficienti complete (essenzialmente) solo per famiglie esponenziali in cui il MLE è spesso distorto (tranne il parametro di posizione dei gaussiani).

Quindi la vera risposta è in realtà no .

È possibile fornire un esempio di contatore generale: qualsiasi famiglia di località con probabilità ) con simmetrica intorno a 0 ( ). Con la dimensione del campione , vale quanto segue: $p_\theta(x)=p(x-\theta$ $p$ $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

il MLE è imparziale
è dominato da un altro stimatore imparziale noto come stimatore equivariante di Pitman

Molto spesso il dominio è severo, quindi l'MLE non è nemmeno ammissibile. È stato dimostrato quando è Cauchy ma immagino sia un fatto generale. Pertanto MLE non può essere UMVU. In realtà, per queste famiglie è noto che, in condizioni miti, non esiste mai un UMVUE. L'esempio è stato studiato in questa domanda con riferimenti e alcune prove. $p$

— Benoit Sanchez
fonte

Perché questo non ha i voti più alti? Ho sentito che questa risposta era migliore di quella di Xian.

— Red Floyd,

0

La varianza asintotica di MLE è UMVUE, ovvero raggiunge il limite inferiore di cramer rao ma la varianza finita potrebbe non essere UMVUE per assicurarsi che lo stimatore sia UMVUE, dovrebbe essere sufficiente e completare le statistiche o qualsiasi funzione di tali statistiche.

— serhat simsek
fonte

0

In breve, uno stimatore è UMVUE, se è imparziale e ha la funzione di una statistica completa e sufficiente. (Vedi Rao-Blackwell e Scheffe)

— creutzml
fonte

Ciò significa che questo è limitato alle famiglie esponenziali.

— Xi'an,