Qual è la differenza nella stima bayesiana e nella stima della massima verosimiglianza?

Per favore, spiegami la differenza tra la stima bayesiana e la stima della massima verosimiglianza?

È una domanda molto ampia e la mia risposta qui inizia solo a graffiare un po 'la superficie. Userò la regola di Bayes per spiegare i concetti.

Supponiamo che una serie di parametri di distribuzione di probabilità, , spiega meglio il set di dati . Potremmo voler stimare i parametri con l'aiuto della Regola di Bayes:$\theta$$D$$\theta$

Le spiegazioni seguono:

Stima della massima verosimiglianza

Con MLE, cerchiamo un valore in punti per che massimizzi la probabilità, , mostrato nell'equazione (s) sopra. Possiamo indicare questo valore come . In MLE, è una stima puntuale, non una variabile casuale.$\theta$$p(D|\theta)$$\hat{\theta}$$\hat{\theta}$

In altre parole, nell'equazione sopra, MLE tratta il termine come una costante e NON ci consente di iniettare le nostre precedenti convinzioni, , riguardo al valori probabili per nei calcoli della stima.$\frac{p(\theta)}{p(D)}$$p(\theta)$$\theta$

Stima bayesiana

La stima bayesiana, al contrario, calcola completamente (o talvolta approssima) la distribuzione posteriore . L'inferenza bayesiana considera come una variabile casuale. Nella stima bayesiana, inseriamo le funzioni di densità di probabilità ed estraiamo le funzioni di densità di probabilità, piuttosto che un singolo punto come in MLE.$p(\theta|D)$$\theta$

Di tutti i valori resi possibili dalla distribuzione di output , è nostro compito selezionare un valore che consideriamo meglio in un certo senso. Ad esempio, possiamo scegliere il valore atteso di supponendo che la sua varianza sia abbastanza piccola. La varianza che possiamo calcolare per il parametro dalla sua distribuzione posteriore ci consente di esprimere la nostra fiducia in qualsiasi valore specifico che possiamo usare come stima. Se la varianza è troppo grande, possiamo dichiarare che non esiste una buona stima per .$\theta$$p(\theta|D)$$\theta$$\theta$$\theta$

Come un compromesso, la stima bayesiana è resa complessa dal fatto che ora dobbiamo fare i conti con il denominatore nella regola di Bayes, vale a dire . Qui l'evidenza - o la probabilità dell'evidenza - è rappresentata da:$evidence$

Ciò porta al concetto di "priori coniugati" nella stima bayesiana. Per una determinata funzione di verosimiglianza, se abbiamo una scelta riguardo al modo in cui esprimiamo le nostre precedenti convinzioni, dobbiamo usare quel modulo che ci consente di effettuare l'integrazione sopra indicata. L'idea dei coniugati priori e il modo in cui sono praticamente implementati sono spiegati abbastanza bene in questo post da COOlSerdash.

Penso che tu stia parlando della stima puntuale come nell'inferenza parametrica, in modo che possiamo assumere un modello di probabilità parametrico per un meccanismo di generazione di dati ma il valore effettivo del parametro è sconosciuto.

La stima della massima verosimiglianza si riferisce all'utilizzo di un modello di probabilità per i dati e all'ottimizzazione della funzione di verosimiglianza congiunta dei dati osservati su uno o più parametri. Si è quindi visto che i parametri stimati sono più coerenti con i dati osservati rispetto a qualsiasi altro parametro nello spazio dei parametri. Si noti che tali funzioni di probabilità non sono necessariamente considerate "condizionate" ai parametri poiché i parametri non sono variabili casuali, quindi è un po 'più sofisticato concepire la probabilità di vari risultati confrontando due diverse parametrizzazioni. Si scopre che questo è un approccio filosoficamente valido.

La stima bayesiana è un po 'più generale perché non stiamo necessariamente massimizzando l'analogo bayesiano della probabilità (la densità posteriore). Tuttavia, il tipo analogo di stima (o stima della modalità posteriore) è visto come massimizzare la probabilità del parametro posteriore in base ai dati. Di solito, le stime di Bayes ottenute in questo modo si comportano quasi esattamente come quelle di ML. La differenza fondamentale è che l'inferenza di Bayes consente un metodo esplicito per incorporare informazioni preliminari.

Anche 'The Epic History of Maximum Likelihood rende una lettura illuminante

http://arxiv.org/pdf/0804.2996.pdf

La stima bayesiana è l'inferenza bayesiana mentre l'MLE è un tipo di metodi di inferenza frequentista.

Secondo l'inferenza bayesiana, vale, vale a dire . Si noti che la stima della massima verosimiglianza considera il rapporto tra prove e precedenti come costante (impostando la distribuzione precedente come distribuzione uniforme, nel giocare un dado per esempio), che omette le credenze precedenti, quindi MLE è considerata una tecnica frequentista (piuttosto che bayesiana). E il precedente non può essere lo stesso in questo scenario, perché se i campioni sono abbastanza grandi gli importi MLE da MAP (per la deduzione dettagliata si prega di fare riferimento a questa risposta ).$f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$$likelihood = \frac{posterior * evidence}{prior}$$p(\theta) = 1/6$

L'alternativa di MLE nell'inferenza bayesiana si chiama massima stima a posteriori (MAP in breve), e in realtà MLE è un caso speciale di MAP in cui il precedente è uniforme, come vediamo sopra e come affermato in Wikipedia :

Dal punto di vista dell'inferenza bayesiana, MLE è un caso speciale di stima a posteriori massima (MAP) che presuppone una distribuzione uniforme uniforme dei parametri.

Per i dettagli, fai riferimento a questo fantastico articolo: MLE vs MAP: la connessione tra la massima verosimiglianza e la massima stima a posteriori .

E un'altra differenza è che la massima probabilità è soggetta a un eccesso di adattamento, ma se si adotta l'approccio bayesiano è possibile evitare il problema di un eccesso di adattamento.