Stima della massima verosimiglianza - perché viene utilizzato nonostante sia distorto in molti casi

La stima della massima verosimiglianza si traduce spesso in stimatori distorti (ad esempio, la sua stima per la varianza del campione è distorta per la distribuzione gaussiana).

Cosa lo rende quindi così popolare? Perché esattamente è usato così tanto? Inoltre, cosa lo rende in particolare migliore rispetto all'approccio alternativo: il metodo dei momenti?

Inoltre, ho notato che per il gaussiano, un semplice ridimensionamento dello stimatore MLE lo rende imparziale. Perché questo ridimensionamento non è una procedura standard? Voglio dire - perché dopo il calcolo MLE, non è normale trovare il ridimensionamento necessario per rendere lo stimatore imparziale? La pratica standard sembra essere il semplice calcolo delle stime MLE, tranne ovviamente per il noto caso gaussiano in cui il fattore di ridimensionamento è ben noto.

La discrepanza non è necessariamente particolarmente importante da sola.

A parte un insieme molto limitato di circostanze, gli stimatori più utili sono distorti, tuttavia sono ottenuti.

Se due stimatori hanno la stessa varianza, si può facilmente montare un argomento per preferire uno imparziale a uno distorto, ma è una situazione insolita in cui trovarsi (cioè, si può ragionevolmente preferire l'imparzialità, ceteris paribus - ma quei fastidiosi ceteris non sono quasi mai paribus ).

Più in genere, se vuoi l'imparzialità, aggiungerai qualche varianza per ottenerlo, e quindi la domanda sarebbe perché dovresti farlo ?

Distorsione è la misura in cui il valore atteso del mio stimatore sarà in media troppo alto (con una propensione negativa che indica troppo bassa).

Quando sto prendendo in considerazione un piccolo stimatore del campione, non mi interessa davvero. Di solito sono più interessato a quanto sbagliato sarà il mio stimatore in questo caso - la mia distanza tipica da destra ... qualcosa come un errore radice-quadrata-media o un errore assoluto medio avrebbe più senso.

Quindi, se ti piacciono la bassa varianza e il basso bias, chiedere senso uno stimatore di errore quadratico medio minimo avrebbe senso; questi sono molto raramente imparziali.

Bias e imparzialità sono una nozione utile di cui essere consapevoli, ma non è una proprietà particolarmente utile da cercare a meno che non si stiano solo confrontando gli stimatori con la stessa varianza.

Gli stimatori ML tendono ad essere a bassa varianza; di solito non sono un MSE minimo, ma spesso hanno un MSE inferiore rispetto a modificarli in modo imparziale (quando puoi farlo) ti darebbe.

Ad esempio, considera la stima della varianza durante il campionamento da una distribuzione normale (in effetti l'MMSE per la varianza ha sempre un denominatore più grande di ). n-$\hat{\sigma}^2_\text{MMSE} = \frac{S^2}{n+1}, \hat{\sigma}^2_\text{MLE} = \frac{S^2}{n}, \hat{\sigma}^2_\text{Unb} = \frac{S^2}{n-1}$$n-1$

MLE fornisce il valore più probabile dei parametri del modello, dato il modello e i dati a portata di mano, il che è un concetto piuttosto interessante. Perché dovresti scegliere i valori dei parametri che rendono i dati osservati meno probabili quando puoi scegliere i valori che rendono i dati osservati più probabili in qualsiasi set di valori? Vorresti sacrificare questa funzionalità per imparzialità? Non dico che la risposta sia sempre chiara, ma la motivazione per MLE è piuttosto forte e intuitiva.

Inoltre, MLE potrebbe essere più ampiamente applicabile del metodo dei momenti, per quanto ne so. MLE sembra più naturale in caso di variabili latenti; per esempio, un modello di media mobile (MA) o un modello di eteroschedasticità condizionale autoregressiva generalizzata (GARCH) può essere stimato direttamente da MLE (con direttamente intendo che è sufficiente specificare una funzione di probabilità e sottoporla a una routine di ottimizzazione) - ma non per metodo dei momenti (sebbene possano esistere soluzioni indirette che utilizzano il metodo dei momenti).

In realtà, il ridimensionamento delle stime di massima verosimiglianza al fine di ottenere stime imparziali è una procedura standard in molti problemi di stima. Il motivo è che la mle è una funzione delle statistiche sufficienti e quindi dal teorema di Rao-Blackwell se riesci a trovare uno stimatore imparziale basato su statistiche sufficienti, allora hai uno stimatore non distorto con varianza minima.

So che la tua domanda è più generale di così, ma ciò che intendo sottolineare è che i concetti chiave sono intimamente correlati alla probabilità e alle stime basate su di essa. Queste stime potrebbero non essere imparziali nei campioni finiti, ma sono asintoticamente così e inoltre sono asintoticamente efficienti, cioè raggiungono il limite di varianza Cramer-Rao per gli stimatori imparziali, il che potrebbe non essere sempre il caso degli stimatori MOM.

Per rispondere alla tua domanda sul perché l'MLE è così popolare, considera che, sebbene possa essere di parte, è coerente in condizioni standard. Inoltre, è asintoticamente efficiente, quindi almeno per campioni di grandi dimensioni, è probabile che l'MLE faccia altrettanto bene o meglio di qualsiasi altro stimatore che si possa preparare. Infine, il MLE si trova con una semplice ricetta; prendere la funzione di verosimiglianza e massimizzarla. In alcuni casi, quella ricetta può essere difficile da seguire, ma per la maggior parte dei problemi non lo è. Inoltre, una volta ottenuta questa stima, possiamo ricavare immediatamente gli errori standard asintotici utilizzando le informazioni di Fisher. Senza utilizzare le informazioni di Fisher, è spesso molto difficile ricavare i limiti di errore.

Questo è il motivo per cui la stima MLE è molto spesso lo stimatore (a meno che tu non sia un bayesiano); è semplice da implementare e probabilmente sarà altrettanto buono se non meglio di qualsiasi altra cosa tu abbia bisogno di fare più lavoro per cucinare.

Aggiungo che a volte (spesso) utilizziamo uno stimatore MLE perché è quello che abbiamo ottenuto, anche se in un mondo ideale non sarebbe quello che vogliamo. (Penso spesso che la statistica sia come l'ingegneria, in cui utilizziamo ciò che abbiamo ottenuto, non ciò che vogliamo.) In molti casi è facile definire e risolvere per l'MLE, quindi ottenere un valore utilizzando un approccio iterativo. Considerando che per un determinato parametro in una determinata situazione potrebbe esserci uno stimatore migliore (per un certo valore di "migliore"), ma per trovarlo potrebbe essere molto intelligente; e quando hai finito di essere intelligente, hai ancora lo stimatore migliore per quel particolare problema.