In che modo la stima della massima verosimiglianza ha una distribuzione normale approssimativa?

Ho letto MLE come metodo per generare una distribuzione adattata.

Mi sono imbattuto in una dichiarazione in cui si afferma che le stime di massima verosimiglianza "hanno distribuzioni normali approssimative".

Questo significa che se applico MLE volte ripetute sui miei dati e sulla famiglia di distribuzioni a cui sto tentando di adattarmi, i modelli che ottengo saranno normalmente distribuiti? In che modo esattamente una sequenza di distribuzioni ha una distribuzione?

normal-distribution estimation maximum-likelihood

— Matt O'Brien
fonte

Quando si applica MLE ripetutamente ai dati allora - salvo eventuali errori di calcolo - si ottiene esattamente lo stesso risultato ogni volta. Il modo di pensare a questo è invece quello di contemplare i modi in cui i tuoi dati avrebbero potuto rivelarsi diversamente. Quando i dati variano, così fanno le stime ML basate su di loro ed è questa variazione risultante nelle stime che è di grande interesse.

— whuber

ahh sì ... non stavo considerando le dimensioni del campione ...

— Matt O'Brien,

Dai

— kjetil b halvorsen

Gli stimatori sono statistiche e le statistiche hanno distribuzioni campionarie (ovvero, stiamo parlando della situazione in cui continui a disegnare campioni della stessa dimensione e osservando la distribuzione delle stime ottenute, una per ciascun campione).

La citazione si riferisce alla distribuzione di MLE quando le dimensioni del campione si avvicinano all'infinito.

Consideriamo quindi un esempio esplicito, il parametro di una distribuzione esponenziale (utilizzando la parametrizzazione della scala, non la parametrizzazione della velocità).

f (x; μ) = \frac{_{1}}{^{μ}} e^{- \frac{x}{μ}}; x > 0, μ > 0

$f(x;\mu) = \frac{_1}{^\mu} e^{-\frac{x}{\mu}};\quad x>0,\quad \mu>0$

$\hat \mu = \bar x$ $n$ $\bar X$

inserisci qui la descrizione dell'immagine

Se prendiamo campioni ripetuti, ciascuno di dimensioni 1, la densità risultante dei mezzi di campionamento viene indicata nel grafico in alto a sinistra. Se prendiamo campioni ripetuti, ciascuno di dimensioni 2, la densità risultante dei mezzi di campionamento è indicata nel grafico in alto a destra; quando n = 25, in basso a destra, la distribuzione dei mezzi di campionamento ha già iniziato a sembrare molto più normale.

$1/\bar X$ $\lambda=1/\mu$

Consideriamo ora il parametro di forma di una distribuzione gamma con media ~~scala~~ nota (qui usando una parametrizzazione media e forma anziché scala e forma).

Lo stimatore non è in forma chiusa in questo caso e il CLT non si applica ad esso (di nuovo, almeno non direttamente *), tuttavia l'argmax della funzione di probabilità è MLE. Man mano che si prelevano campioni sempre più grandi, la distribuzione campionaria della stima dei parametri di forma diventerà più normale.

inserisci qui la descrizione dell'immagine

$n$

$\hat{\theta}$ $\hat{\theta}$

Nota anche che l'effetto che vediamo quando guardiamo piccoli campioni (piccoli rispetto all'infinito, almeno) - quella regolare progressione verso la normalità in una varietà di situazioni, come vediamo motivati dalle trame sopra - suggerirebbe che se abbiamo considerato il cdf di una statistica standardizzata, potrebbe esserci una versione di qualcosa come una disuguaglianza di Berry Esseen basata su un approccio simile al modo di utilizzare un argomento CLT con MLE che fornirebbe limiti su quanto lentamente la distribuzione del campionamento può avvicinarsi alla normalità. Non ho visto nulla del genere, ma non mi sorprenderebbe scoprire che era stato fatto.

— Glen_b - Ripristina Monica
fonte