Esempi di approccio bayesiano e frequentista che danno risposte diverse

Nota: sono consapevole delle differenze filosofiche tra statistiche bayesiane e frequentiste.

Ad esempio, "qual è la probabilità che la moneta sul tavolo sia testa" non ha senso nelle statistiche del frequentista, dal momento che ha già ottenuto testa o croce - non c'è nulla di probabilistico al riguardo. Quindi la domanda non ha risposta in termini di frequentista.

Ma tale differenza è un particolare non è il tipo di differenza che sto chiedendo.

Piuttosto, vorrei sapere come le loro previsioni per domande ben formate differiscono effettivamente nel mondo reale, escludendo eventuali differenze teoriche / filosofiche come l'esempio che ho menzionato sopra.

Quindi in altre parole:

Qual è un esempio di domanda, rispondente sia alle statistiche frequentiste che bayesiane, la cui risposta è diversa tra le due?

(es. forse uno di loro risponde "1/2" a una domanda particolare e l'altro risponde "2/3".)

Ci sono differenze del genere?

• In tal caso, quali sono alcuni esempi?

• In caso contrario, quando fa davvero la differenza se uso le statistiche bayesiane o frequentiste quando risolvo un problema particolare?
  Perché dovrei evitare l'uno a favore dell'altro?

Questo esempio è tratto da qui . (Penso anche di aver ottenuto questo link da SO, ma non riesco più a trovarlo.)

$n=14$$k=10$$\theta$$\theta$

$$f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)=f(y_{f,1}=\text{heads})f(y_{f,2}=\text{heads}|\theta)=\theta^2.$$ $\text{Beta}(\alpha_0,\beta_0)$ $$\begin{eqnarray*} f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|y)&=&\int f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)\pi(\theta|y)d\theta\notag\\ &=&\frac{\Gamma\left(\alpha _{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\int \theta^2\theta ^{\alpha _{0}+k-1}\left( 1-\theta \right) ^{\beta _{0}+n-k-1}d\theta\notag\\ &=&\frac{\Gamma\left(\alpha_{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\frac{\Gamma\left(\alpha_{0}+k+2\right)\Gamma\left(\beta_{0}+n-k\right)}{\Gamma\left(\alpha_{0}+\beta_{0}+n+2\right)}\notag\\ &=&\frac{(\alpha_{0}+k)\cdot(\alpha_{0}+k+1)}{(\alpha_{0}+\beta_{0}+n)\cdot(\alpha_{0}+\beta_{0}+n+1)} \end{eqnarray*}$$ $\text{Beta}(1, 1)$$(10/14)^2\approx.51$

Vedi la mia domanda qui , che menziona un articolo di Edwin Jaynes che fornisce un esempio di un intervallo di confidenza frequentista correttamente costruito, in cui vi sono informazioni sufficienti nel campione per sapere con certezza che il vero valore della statistica non si trova da nessuna parte nell'intervallo di confidenza ( e quindi l'intervallo di confidenza è diverso dall'intervallo credibile bayesiano).

Tuttavia, la ragione di ciò è la differenza nella definizione di un intervallo di confidenza e un intervallo credibile, che a sua volta è una conseguenza diretta della differenza nelle definizioni di probabilità frequentista e bayesiana. Se chiedi a un bayesiano di produrre un intervallo di confidenza bayesiana (piuttosto che credibile), allora sospetto che ci sarà sempre un precedente per il quale gli intervalli saranno gli stessi, quindi le differenze dipendono dalla scelta del precedente.

Se i metodi frequentista o bayesiano sono appropriati dipende dalla domanda che vuoi porre, e alla fine è la differenza nelle filosofie che decide la risposta (a condizione che lo sforzo computazionale e analitico richiesto non sia una considerazione).

Essendo in qualche modo ironico, si potrebbe sostenere che una frequenza a lungo termine è un modo perfettamente ragionevole per determinare la plausibilità relativa di una proposizione, nel qual caso le statistiche dei frequentisti sono un sottoinsieme leggermente strano del bayesianismo soggettivo - quindi qualsiasi domanda a cui un frequentatore può rispondere un bayesiano soggettivista può anche rispondere allo stesso modo, o in qualche altro modo se scelgono priori diversi. ; O)

Credo che questo documento fornisca un senso più mirato dei compromessi nelle applicazioni effettive tra i due. Parte di ciò potrebbe essere dovuta alla mia preferenza per gli intervalli piuttosto che per i test.

Gustafson, P. and Greenland, S. (2009). Stima dell'intervallo per dati osservativi disordinati . Statistical Science 24: 328–342.

Per quanto riguarda gli intervalli, può essere utile tenere presente che gli intervalli di confidenza del frequentatore richiedono / richiedono una copertura uniforme (esattamente o almeno maggiore di x% per ogni valore di parametro che non ha probabilità zero) e se non lo fanno ce l'hanno - non sono davvero intervalli di confidenza. (Alcuni andrebbero oltre e affermano che devono anche escludere sottoinsiemi pertinenti che cambiano la copertura.)

La copertura bayesiana è di solito definita rilassando quella "su una copertura media" dato che il presupposto precedente risulta esattamente corretto. Gustafson e la Groenlandia (2009) chiamano questi priori onnipotenti e considerano quelli vulnerabili per fornire una valutazione migliore.

Se qualcuno dovesse porre una domanda che ha una risposta sia frequentista che bayesiana, sospetto che qualcun altro sarebbe in grado di identificare un'ambiguità nella domanda, rendendola così "non ben formata".

In altre parole, se hai bisogno di una risposta da frequentatore, usa i metodi frequentatore. Se hai bisogno di una risposta bayesiana, usa i metodi bayesiani. Se non sai di cosa hai bisogno, potresti non aver definito la domanda in modo inequivocabile.

Tuttavia, nel mondo reale ci sono spesso diversi modi per definire un problema o porre una domanda. A volte non è chiaro quale di questi modi sia preferibile. Ciò è particolarmente comune quando il proprio cliente è statisticamente ingenuo. Altre volte è molto più difficile rispondere a una domanda rispetto a un'altra. In questi casi si va spesso con il più semplice mentre si cerca di assicurarsi che i suoi clienti siano d'accordo esattamente con quale domanda si pone o quale problema sta risolvendo.

Consiglio di leggere l'Esercizio 3.15 del libro di testo disponibile gratuitamente Teoria delle informazioni, inferenza e algoritmi di apprendimento di MacKay.

Quando è stata lanciata sul bordo 250 volte, una moneta belga da un euro è salita di testa 140 volte e segna 110. "Mi sembra molto sospetto", ha affermato Barry Blight, docente di statistica alla London School of Economics. "Se la moneta fosse imparziale, la possibilità di ottenere un risultato estremo sarebbe inferiore al 7%". Ma questi dati dimostrano che la moneta è distorta piuttosto che giusta?

$p$$0.07$$6:1$