Ragionamento intuitivo alla base di stimatori di massima verosimiglianza distorti

25

Ho una confusione sugli stimatori di massima verosimiglianza (ML) distorti . La matematica dell'intero concetto mi è abbastanza chiara, ma non riesco a capire il ragionamento intuitivo alla base.

Dato un determinato set di dati che contiene campioni da una distribuzione, che è esso stesso una funzione di un parametro che vogliamo stimare, lo stimatore ML determina il valore per il parametro che molto probabilmente produrrà il set di dati.

Non riesco a comprendere intuitivamente uno stimatore ML di parte, nel senso che: come può il valore più probabile per il parametro prevedere il valore reale del parametro con una propensione verso un valore sbagliato?

maximum-likelihood bias

— SSAH
fonte

Possibile duplicato della stima

— kjetil b halvorsen,

Penso che il focus sul bias qui possa distinguere questa domanda dal duplicato proposto, sebbene siano certamente strettamente correlati.

— Silverfish

14

lo stimatore ML determina il valore per il parametro che è più probabile che si verifichi nel set di dati.

Date le ipotesi, lo stimatore ML è il valore del parametro che ha le migliori possibilità di produrre il set di dati.

Non riesco a capire intuitivamente uno stimatore ML distorto, nel senso che "Come può il valore più probabile per il parametro prevedere il valore reale del parametro con una propensione verso un valore sbagliato?"

La distorsione riguarda le aspettative di distribuzioni campionarie. "Molto probabilmente per produrre i dati" non riguarda le aspettative delle distribuzioni di campionamento. Perché dovrebbero aspettarsi di andare insieme?

Qual è la base su cui è sorprendente che non corrispondano necessariamente?

Ti suggerirei di prendere in considerazione alcuni semplici casi di MLE e di riflettere su come si presenta la differenza in quei casi particolari.

Ad esempio, considera le osservazioni su un'uniforme su . L'osservazione più grande non è (necessariamente) non più grande del parametro, quindi il parametro può assumere valori almeno grandi quanto l'osservazione più grande. $(0,\theta)$

Quando consideri la probabilità di , è (ovviamente) più grande quanto più si avvicina alla più grande osservazione. Quindi è massimizzato alla più grande osservazione; questa è chiaramente la stima per che massimizza la possibilità di ottenere il campione ottenuto: $\theta$ $\theta$ $\theta$

inserisci qui la descrizione dell'immagine

D'altra parte, deve essere parziale, poiché l'osservazione più grande è ovviamente (con probabilità 1) più piccola del valore reale di ; qualsiasi altra stima di non già esclusa dal campione stesso deve essere maggiore di essa e (in questo caso abbastanza chiaramente) deve avere meno probabilità di produrre il campione. $\theta$ $\theta$

L'aspettativa dell'osservazione più grande da una è , quindi il solito modo di scartare è prendere come stimatore di : , dove è l'osservazione più grande. $U(0,\theta)$ $\frac{n}{n+1}$ $\theta$ $\hat\theta=\frac{n+1}{n}X_{(n)}$ $X_{(n)}$

Questo si trova a destra del MLE e quindi ha una probabilità inferiore.

— Glen_b -Restate Monica
fonte

grazie per la tua risposta. Per quanto riguarda la prima parte, mi sono espresso in modo errato. In sostanza intendevo quello che hai detto. Sulla base della tua risposta alla seconda parte, posso concludere che, dato un altro insieme di dati tratti dalla stessa distribuzione, lo stimatore ML comporterà una distorsione diversa? Dal momento che dici che lo stimatore ML è quello che "molto probabilmente" produce i dati. Se cambiamo i dati alcuni altri stimatori potrebbero produrli molto probabilmente. È corretto?

— ssah

Lo stimatore non cambierà se la forma della distribuzione della popolazione non cambia. Qualche altra stima verrà prodotta con un campione diverso e la quantità con cui è distorta sarà generalmente diversa - la distorsione è di solito correlata alla dimensione del campione, anche se la popolazione è la stessa. ... (ctd)

— Glen_b

(ctd) ... Nota che ho apportato alcune modifiche sopra che potrebbero aiutare. Nel contesto del mio esempio precedente, con un campione diverso (questo tempo di dimensioni anziché , diciamo) - la forma dello stimatore ML sarebbe ancora "l'osservazione più ampia nel campione", ma la stima sarebbe diversa ( anche con lo stesso ) e anche il bias sarebbe tipicamente diverso (a causa dell'effetto dimensione del campione).

$\quad$

m

$m$

n

$n$

θ

$\theta$

— Glen_b

Buon uso dell'esempio canonico per vedere la differenza tra stimatori imparziali e ML.

— jwg

6

$\beta^{MLE}$ $\beta$ $\beta$ $\beta^{MLE}$

$\frac{N}{N-1}$

— Dimitriy V. Masterov
fonte

Ci scusiamo per l'errore nella prima parte. L'ho modificato e risolto. Ma riguardo a quello che hai detto sull'MLE, perché dovrebbe essere di parte al primo posto nel caso non asintotico?

— ssah

2

"Meglio" dipende da ciò che guardi; La correzione di Bessel la rende imparziale, ma l'imparzialità non è di per sé automaticamente "migliore" (l'MSE è peggio, per esempio; perché dovrei preferire l'imparzialità a un MSE più piccolo?). Si potrebbe sostenere che l' impedenza sia migliore, ceteris paribus , ma sfortunatamente il ceteris non sarà paribus .

— Glen_b

La mia comprensione era che lo stimatore imparziale può essere mostrato come il migliore imparziale attraverso la relazione tra MLE e limite inferiore di Cramer-Rao.

— Dimitriy V. Masterov

@ssah Mi è stato detto che è perché stiamo usando la media campione invece della media vera nella formula. A dire il vero, non ho mai trovato questa spiegazione particolarmente intuitiva, perché se lo stimatore MLE della media è imparziale, perché dovrebbe andare storto? Di solito metto in dubbio i miei dubbi con una simulazione.

— Dimitriy V. Masterov

5

Ecco la mia intuizione.

La distorsione è una misura dell'accuratezza , ma esiste anche una nozione di precisione .

inserisci qui la descrizione dell'immagine

In un mondo ideale, otterremmo la stima, che è sia precisa che accurata, cioè colpisce sempre il bersaglio. Sfortunatamente, nel nostro mondo imperfetto, dobbiamo bilanciare accuratezza e precisione. A volte potremmo sentire che potremmo dare un po 'di accuratezza per ottenere più precisione: ci scambiamo continuamente. Pertanto, il fatto che uno stimatore sia distorto non significa che sia negativo: potrebbe essere che sia più preciso.

— Aksakal
fonte