Se usi una stima puntuale che massimizza

Se qualcuno ha detto

"Questo metodo utilizza il MLE la stima puntuale per il parametro che massimizza , quindi è frequentista; e inoltre non è bayesiano."$\mathrm{P}(x|\theta)$

sei d'accordo?

• Aggiornamento sullo sfondo : di recente ho letto un documento che afferma di essere frequentatore. Non sono d'accordo con la loro affermazione, nella migliore delle ipotesi è ambigua. L'articolo non menziona esplicitamente né l'MLE (o la MAP , per quella materia). Prendono semplicemente una stima puntuale e procedono semplicemente come se questa stima puntuale fosse vera. Lo fanno nonfare qualsiasi analisi della distribuzione campionaria di questo stimatore o qualcosa del genere; il modello è piuttosto complesso e quindi probabilmente tale analisi non è possibile. Non usano neanche la parola "posteriore" in nessun punto. Prendono semplicemente questa stima puntuale al valore nominale e procedono al loro principale argomento di interesse - inferendo i dati mancanti. Non credo che ci sia qualcosa nel loro approccio che suggerisca quale sia la loro filosofia. Potrebbero aver voluto essere frequentisti (perché si sentono obbligati a indossare la loro filosofia sulla manica), ma il loro approccio effettivo è abbastanza semplice / conveniente / pigro / ambiguo. Sono propenso ora a dire che la ricerca non ha davvero alcuna filosofia dietro; invece penso che il loro atteggiamento fosse più pragmatico o conveniente:

  "Ho osservato i dati, , e desidero stimare alcuni dati mancanti, z . Esiste un parametro θ che controlla la relazione tra z e x . Non mi interessa davvero θ se non come mezzo per raggiungere un fine. Se ho una stima per θ che renderà più facile per predire z da x sceglierò una stima puntuale di. θ perché è comodo, in particolare la scelta del θ che massimizza P ( x | θ ) ".$x$$z$$\theta$$z$$x$$\theta$$\theta$$z$$x$$\theta$$\hat{\theta}$$\mathrm{P}(x|\theta)$

Nei metodi bayesiani, i ruoli dei dati e del parametro sono invertiti. In particolare, ora condizioniamo i dati osservati e procediamo a fare inferenze sul valore del parametro. Ciò richiede un precedente.

Fin qui tutto bene, ma dove si inserisce il MLE (stima della massima verosimiglianza) in tutto questo? Ho l'impressione che molte persone sentano che è frequentista (o più precisamente, che non è bayesiano). Ma ritengo che sia bayesiano perché comporta il rilevamento dei dati osservati e la ricerca del parametro che massimizza . Il MLE sta implicitamente usando un precedente uniforme e condizionando i dati e massimizzando P ( p a r a m e t e $P(data | parameter)$ . È giusto dire che il MLE sembra sia frequentista che bayesiano? O ogni semplice strumento deve rientrare esattamente in una di queste due categorie?$P(parameter | data)$

L'MLE è coerente, ma ritengo che la coerenza possa essere presentata come un'idea bayesiana. Dati campioni arbitrariamente grandi, la stima converge sulla risposta corretta. L'istruzione "la stima sarà uguale al valore vero" vale per tutti i valori del parametro. La cosa interessante è che questa affermazione vale anche se si condizionano i dati osservati, rendendola bayesiana. Questo interessante lato vale per l'MLE, ma non per uno stimatore imparziale.

Questo è il motivo per cui ritengo che l'MLE sia il "più bayesiano" dei metodi che potrebbero essere descritti come frequentisti.

Ad ogni modo, la maggior parte delle proprietà del frequentista (come l'imparzialità) si applicano in tutti i casi, comprese le dimensioni del campione finito. Il fatto che la coerenza valga solo nello scenario impossibile (campione infinito all'interno di un esperimento) suggerisce che la coerenza non è una proprietà così utile.

Dato un campione realistico (cioè finito), esiste una proprietà Frequentist che vale per l'MLE? In caso contrario, il MLE non è realmente frequentatore.

O ogni semplice strumento deve rientrare esattamente in una di queste due categorie?

No. Strumenti semplici (e non così semplici) possono essere studiati da diversi punti di vista. La funzione di probabilità di per sé è una pietra miliare nelle statistiche bayesiane e frequentiste e può essere studiata da entrambi i punti di vista! Se vuoi, puoi studiare l'MLE come una soluzione approssimativa di Bayes, oppure puoi studiarne le proprietà con la teoria asintotica, in modo frequentista.

Quando si esegue la stima della massima verosimiglianza, si considera il valore della stima e le proprietà di campionamento dello stimatore al fine di stabilire l'incertezza della stima espressa come intervallo di confidenza. Penso che questo sia importante per quanto riguarda la tua domanda perché un intervallo di confidenza dipenderà in generale da punti campione che non sono stati osservati, che alcuni sembrano essere una proprietà essenzialmente nonayayiana.

PS Questo è legato al fatto più generale che la stima della massima verosimiglianza (punto + intervallo) non soddisfa il principio di verosimiglianza , mentre un'analisi bayesiana completa (" stile selvaggio ").

La funzione di probabilità è una funzione che coinvolge i dati e i parametri sconosciuti. Può essere visto come la densità di probabilità per i dati osservati dato il valore (i) dei parametri. I parametri sono fissi. Quindi di per sé la probabilità è una nozione frequentista. Massimizzare la probabilità è solo trovare i valori specifici dei parametri che fanno assumere alla probabilità il suo valore massimo. Quindi la stima della massima verosimiglianza è un metodo frequentista basato esclusivamente sui dati e sulla forma del modello che si presume generino. La stima bayesiana si inserisce solo quando viene posizionata una distribuzione precedente sui parametri e la formula di Bayes viene utilizzata per ottenere una distribuzione aposteriore per i parametri combinando il precedente con la probabilità.

Supponendo che per "Bayesiano" si riferisca a Bayes soggettive (alias Epistemic Bayes, De-Finetti Bayes) e non all'attuale significato empirico di Bayes - è tutt'altro che banale. Da un lato, deduci solo sulla base dei tuoi dati. Non ci sono credenze soggettive a portata di mano. Questo sembra abbastanza frequente ... Ma la critica, espressa anche a Fisher stesso (un bayesiano non soggettivo), è che nella scelta della distribuzione campionaria della soggettività dei dati è strisciato dentro. Un parametro è definito solo dato il nostro convinzioni sul processo di generazione dei dati.

In conclusione, credo che l'MLE sia in genere considerato un concetto frequentista, sebbene si tratti semplicemente di come si definisce "frequentista" e "bayesiano".

(rispondendo alla propria domanda)

Uno stimatore è una funzione che accetta alcuni dati e produce un numero (o intervallo di numeri). Uno stimatore, di per sé, non è in realtà "bayesiano" o "frequentista": puoi pensarlo come una scatola nera in cui i numeri entrano e i numeri escono. Puoi presentare lo stesso stimatore a un frequentatore e a un bayesiano e avranno cose diverse da dire sullo stimatore.

(Non sono contento della mia semplicistica distinzione tra frequentista e bayesiano - ci sono altre questioni da considerare. Ma per semplicità, facciamo finta che siano solo due campi filosofici ben definiti.)

Non si può dire se un ricercatore sia frequentatore di bayesiano solo da quale stimatore scelgono. L'importante è ascoltare quali analisi fanno sullo stimatore e quali ragioni danno per scegliere quello stimatore.

$\theta$$\mathrm{P}(\mathbf{x}|\theta)$

Quando lo stesso software viene presentato a un bayesiano, il bayesiano potrebbe essere felice con gran parte dell'analisi del frequentatore. Sì, a parità di altre condizioni, la distorsione non è buona e la coerenza è buona. Ma il bayesiano sarà più interessato ad altre cose. Il bayesiano vorrà vedere se lo stimatore assume la forma di una funzione di distribuzione posteriore; e in tal caso, quale precedente è stato utilizzato? Se lo stimatore si basa su un posteriore, il bayesiano si chiederà se il precedente è buono. Se sono contenti del precedente e se lo stimatore riporta la modalità del posteriore (al contrario, diciamo, della media del posteriore), sono felici di applicare questa interpretazione alla stima: "Questa stima è il punto stima che ha le migliori possibilità di essere corretta ".

Ho sentito spesso dire che i frequentatori e i bayesiani "interpretano" le cose in modo diverso, anche quando i numeri coinvolti sono gli stessi. Questo può essere un po 'confuso, e non penso che sia davvero vero. Le loro interpretazioni non sono in conflitto tra loro; fanno semplicemente dichiarazioni su diversi aspetti del sistema. Mettiamo da parte le stime dei punti per il momento e consideriamo invece gli intervalli. In particolare, ci sono intervalli di confidenza frequentista e intervalli credibili bayesiani . Di solito daranno risposte diverse. Ma in alcuni modelli, con alcuni priori, i due tipi di intervallo daranno la stessa risposta numerica.

Quando gli intervalli sono uguali, come possiamo interpretarli diversamente? Un frequentatore dirà di uno stimatore di intervallo:

Prima di vedere i dati o l'intervallo corrispondente, posso dire che esiste almeno una probabilità del 95% che il parametro vero sia contenuto nell'intervallo.

mentre un bayesiano dirà di uno stimatore di intervallo:

Dopo aver visto i dati o l'intervallo corrispondente, posso dire che esiste almeno una probabilità del 95% che il parametro vero sia contenuto nell'intervallo.

Queste due affermazioni sono identiche, a parte le parole "Prima" e "Dopo". Il bayesiano capirà e concorderà con la precedente affermazione e riconoscerà anche che la sua verità è indipendente da qualsiasi precedente, rendendola così "più forte". Ma parlando come bayesiano, mi preoccuperei che la precedente affermazione potrebbe non essere molto utile . Quest'ultima affermazione non piacerà al frequentatore, ma non la capisco abbastanza bene da fornire una descrizione equa delle obiezioni del frequentatore.

Dopo aver visto i dati, il frequentista sarà ancora ottimista sul fatto che il valore vero sia contenuto nell'intervallo? Forse no. Questo è un po 'controintuitivo, ma è importante per comprendere veramente gli intervalli di confidenza e altri concetti basati sulla distribuzione campionaria. Potresti presumere che il frequentatore continuerebbe a dire "Dati i dati, penso ancora che ci sia una probabilità del 95% che il vero valore sia in questo intervallo". Un frequentatore non si limiterebbe a chiedersi se questa affermazione sia vera, ma si chiederebbe anche se sia significativo attribuire le probabilità in questo modo. Se hai altre domande su questo, non chiedermelo, questo problema è troppo per me!

Il bayesiano è felice di fare questa affermazione: "Condizionamento dei dati che ho appena visto, la probabilità è del 95% che il valore reale sia compreso in questo intervallo".

Devo ammettere che sono un po 'confuso su un ultimo punto. Comprendo e condivido l'affermazione fatta dal frequentatore prima che i dati vengano visualizzati. Capisco e sono d'accordo con l'affermazione fatta dal bayesiano dopo che i dati sono stati visti. Tuttavia, non sono così sicuro di cosa dirà il frequentatore dopo che i dati saranno stati visti; cambieranno le loro credenze sul mondo? Non sono in grado di comprendere la filosofia frequentista qui.

$P(x|\theta)$