MLE vs minimi quadrati nelle opportune distribuzioni di probabilità


18

L'impressione che ho avuto, sulla base di diversi articoli, libri e articoli che ho letto, è che il modo consigliato di adattare una distribuzione di probabilità su un insieme di dati è utilizzando la stima della massima verosimiglianza (MLE). Tuttavia, come fisico, un modo più intuitivo è semplicemente quello di adattare il pdf del modello al pdf empirico dei dati usando i minimi quadrati. Perché allora MLE è migliore dei minimi quadrati per adattare le distribuzioni di probabilità? Qualcuno potrebbe indicarmi un articolo / libro scientifico che risponde a questa domanda?

La mia impressione è perché MLE non assume un modello di rumore e il "rumore" nel pdf empirico è eteroscedastico e non normale.

Risposte:


2

Un modo utile di pensare a questo è di notare che ci sono casi in cui i minimi quadrati e il MLE sono gli stessi, ad esempio stimando i parametri in cui l'elemento casuale ha una distribuzione normale. Quindi, in effetti, piuttosto che (come si ipotizza) che l'MLE non assume un modello di rumore, quello che sta succedendo è che presume che ci sia un rumore casuale, ma ha una visione più sofisticata di come si forma piuttosto che assumerlo ha una distribuzione normale.

Qualsiasi libro di testo sull'inferenza statistica tratterà delle belle proprietà degli MLE in termini di efficienza e coerenza (ma non necessariamente di parzialità). Gli MLE hanno anche la bella proprietà di essere asintoticamente normali in un ragionevole insieme di condizioni.


ciò che intendo per "non presuppone un modello di rumore casuale" è che non presuppone che il rumore abbia una distribuzione definita, ad esempio normale. Potresti indicare un libro che discute la stima dei parametri adattando il PDF usando i minimi quadrati? I libri che ho trovato parlano solo di MLE (e talvolta, metodo dei momenti).
Christian Alis,

Per adattarsi a MLE devi ancora assumere una distribuzione definita, ma hai una scelta più ampia della normale. Solo per scegliere il primo libro a portata di mano che tratta i due, ho Garthwaite, Jolliffe e Jones Statistical Inference (un libro di testo uni standard del secondo anno piuttosto standard) che discute i minimi quadrati, nonché il metodo dei momenti e il metodo del minimo Chi chi come alternative agli MLE.
Peter Ellis,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.