Ci sono esempi in cui gli intervalli credibili bayesiani sono ovviamente inferiori agli intervalli di confidenza del frequentatore

Una recente domanda sulla differenza tra confidenza e intervalli credibili mi ha portato a iniziare a rileggere l'articolo di Edwin Jaynes su questo argomento:

Jaynes, ET, 1976. "Intervalli di confidenza contro intervalli bayesiani", in Fondamenti di teoria della probabilità, inferenza statistica e teorie statistiche della scienza, WL Harper e CA Hooker (a cura di), D. Reidel, Dordrecht, p. 175; ( pdf )

In astratto, Jaynes scrive:

... esponiamo le soluzioni bayesiane e ortodosse a sei problemi statistici comuni che coinvolgono intervalli di confidenza (compresi test di significatività basati sullo stesso ragionamento). In ogni caso, troviamo che la situazione è esattamente l'opposto, vale a dire che il metodo bayesiano è più facile da applicare e produce gli stessi risultati o migliori. In effetti, i risultati ortodossi sono soddisfacenti solo quando concordano strettamente (o esattamente) con i risultati bayesiani. Nessun esempio contrario è stato ancora prodotto.

(enfatizzare il mio)

Il documento è stato pubblicato nel 1976, quindi forse le cose sono andate avanti. La mia domanda è: ci sono esempi in cui l'intervallo di confidenza del frequentista è chiaramente superiore all'intervallo credibile bayesiano (secondo la sfida implicitamente fatta da Jaynes)?

Gli esempi basati su presupposti precedenti errati non sono accettabili in quanto non dicono nulla sulla coerenza interna dei diversi approcci.

Ho detto prima che avrei provato a rispondere alla domanda, quindi ecco qui ...

Jaynes era un po 'cattivo nel suo articolo in quanto un intervallo di confidenza frequentista non è definito come un intervallo in cui potremmo aspettarci che il vero valore della statistica risieda con un'alta probabilità (specificata), quindi non è eccessivamente sorprendente che le contraddizioni sorgono se vengono interpretati come se lo fossero. Il problema è che questo è spesso il modo in cui gli intervalli di confidenza vengono utilizzati nella pratica, in quanto un intervallo che contiene altamente il vero valore (dato ciò che possiamo dedurre dal nostro campione di dati) è ciò che spesso desideriamo.

La questione chiave per me è che quando viene posta una domanda, è meglio avere una risposta diretta a quella domanda. Il fatto che gli intervalli credibili bayesiani siano peggiori degli intervalli di confidenza del frequentista dipende dalla domanda effettivamente posta. Se la domanda era:

(a) "Dammi un intervallo in cui il vero valore della statistica risieda con la probabilità p", quindi sembra che un frequentatore non possa effettivamente rispondere direttamente a questa domanda (e questo introduce il tipo di problemi che Jaynes discute nel suo documento), ma un Latta bayesiana, motivo per cui un intervallo credibile bayesiano è superiore all'intervallo di confidenza frequentista negli esempi forniti da Jaynes. Ma questo è solo perché è la "domanda sbagliata" per il frequentatore.

(b) "Dammi un intervallo in cui, se l'esperimento fosse ripetuto un gran numero di volte, il vero valore della statistica rientrerebbe in p * 100% di tali intervalli", allora la risposta del frequentatore è proprio quello che vuoi. Il bayesiano potrebbe anche essere in grado di dare una risposta diretta a questa domanda (anche se potrebbe non essere semplicemente l'intervallo credibile evidente). Il commento di Whuber sulla domanda suggerisce che questo è il caso.

Quindi, in sostanza, si tratta di specificare correttamente la domanda e di interpretare correttamente la risposta. Se si desidera porre la domanda (a), utilizzare un intervallo credibile bayesiano, se si desidera porre la domanda (b), utilizzare un intervallo di confidenza frequentista.

Questo è un esempio "arricchito" dato in un libro scritto da Larry Wasserman Tutte le statistiche su Pagina 216 ( 12.8 Punti di forza e debolezze dell'inferenza bayesiana ). Fondamentalmente fornisco ciò che Wasserman non ha nel suo libro 1) una spiegazione di ciò che sta realmente accadendo, piuttosto che una linea di lancio; 2) la risposta del frequentatore alla domanda, che Wasserman non dà convenientemente; e 3) una dimostrazione che la confidenza equivalente calcolata utilizzando le stesse informazioni soffre dello stesso problema.

In questo esempio, afferma la seguente situazione

1. $(X|\theta)\sim N(\theta,1)$
2. $(\theta)\sim N(0,1)$$\tau^2$$\tau^2=1$

$\theta$$\theta$

... Cosa dovremmo concludere da tutto questo? L'importante è capire che i metodi frequentista e bayesiano stanno rispondendo a domande diverse. Per combinare le credenze precedenti con i dati in modo di principio, usa l'inferenza bayesiana. Per costruire procedure con prestazioni a lungo termine garantite, come intervalli di confidenza, utilizzare metodi frequentist ... (p217)

E poi continua senza alcuna disezione o spiegazione del perché il metodo bayesiano abbia funzionato apparentemente così male. Inoltre, non dà una risposta dall'approccio del frequentista, ma solo una dichiarazione a pennello sul "lungo periodo" - una tattica politica classica (enfatizza la tua forza + la debolezza degli altri, ma non confrontare mai come per simili).

$\tau=1$

$\theta\sim N(0,1)$$\theta$$p(\theta)\propto 1$$Y\sim N(\theta,1)$$X$$\theta$

$(\theta|Y)\sim N(Y,1)$$X$$0$$0$$X$

$\theta$$\overline{x}=\frac{0+X}{2}=\frac{X}{2}$

$(1-\alpha)\text{%}$

$(1-\alpha)\text{%}$$\theta$

$c=\frac{\tau^{2}}{1+\tau^{2}}$$\tau^{2}=1$$c=\frac{1}{2}$

$p(\theta)\propto 1$$X \pm Z_{\alpha/2})$

$X=0$$0$$\theta=4$$X\leq 0$$\theta=4$. In effetti puoi mostrare che questo esempio è sostanzialmente equivalente a mostrare che la media aritmetica ha una funzione di influenza illimitata.

$\tau=1$$\tau^2=\frac{1}{N}$ $(N=0,1,2,3,\dots)$$N$$X$$0$$X$$\theta$$0$$\theta$$0$

Keith Winstein,

EDIT: Giusto per chiarire, questa risposta descrive l'esempio fornito nella risposta Keith Winstein sul re con il crudele gioco statistico. Le risposte Bayesiana e Frequentista utilizzano entrambe le stesse informazioni, ovvero ignorare le informazioni sul numero di monete giuste e ingiuste durante la costruzione degli intervalli. Se queste informazioni non vengono ignorate, il frequentatore dovrebbe usare la probabilità beta-binomiale integrata come distribuzione campionaria nella costruzione dell'intervallo di confidenza, nel qual caso l'intervallo di confidenza Clopper-Pearson non è appropriato e deve essere modificato. Un aggiustamento simile dovrebbe avvenire nella soluzione bayesiana.

EDIT: ho anche chiarito l'uso iniziale del clopper Pearson Interval.

EDIT: ahimè, la mia alfa è la strada sbagliata e il mio intervallo Pearson clopper non è corretto. Le mie più umili scuse a @whuber, che lo ha correttamente sottolineato, ma con cui inizialmente non ero d'accordo e ho ignorato.

L'IC che utilizza il metodo Clopper Pearson è molto buono

$\theta$

$X=1$$Pr(Bi(1,\theta)\geq 1)=\theta$$Pr(Bi(1,\theta)\leq 1)=1$$\theta\geq\frac{\alpha}{2}$$1\geq\frac{\alpha}{2}$$X=1$$X=0$$Pr(Bi(1,\theta)\geq 0)=1$$Pr(Bi(1,\theta)\leq 0)=1-\theta$$1-\theta \geq\frac{\alpha}{2}$$\theta\leq 1-\frac{\alpha}{2}$$X=0$$[0.025,1]$$X=1$$[0,0.975]$$X=0$

Pertanto, chi usa l'intervallo di confidenza di Clopper Pearson non verrà mai decapitato. Osservando l'intervallo, è sostanzialmente l'intero spazio dei parametri. Ma l'intervallo CP lo sta facendo dando una copertura del 100% a un intervallo presumibilmente del 95%! Fondamentalmente, i Frequentisti "imbrogliano" dando un intervallo di confidenza del 95% più copertura di quello che gli è stato chiesto di dare (anche se chi non trufferebbe in una situazione del genere? Se fossi in me, darei l'intero [0, 1] intervallo). Se il re chiedesse un esatto IC al 95%, questo metodo frequentista fallirebbe indipendentemente da ciò che è realmente accaduto (forse ne esiste uno migliore?).

Che dire dell'intervallo bayesiano? (in particolare l'intervallo bayesiano di massima designità posteriore (HPD))

$(\theta|X)\sim Beta(1+X,2-X)$$Pr(\theta \geq \theta^{e} | x=1) = 1-(\theta^{e})^{2}$$Pr(\theta \leq \theta^{e} | x=0) = 1-(1-\theta^{e})^{2}$$\theta^{e}=\sqrt{0.05}\approx 0.224$$X=1$$\theta^{e}= 1-\sqrt{0.05}\approx 0.776$$X=0$$(0,0.776)$$X=0$$(0.224,1)$$X=1$

$\frac{1}{10^{12}+1}\times\frac{1}{10}\approx 0$

$0.1$

$0.025$$0.975$

Per citare un vero intervallo di confidenza al 95%, quindi per definizione ci dovrebbero essere alcuni casi (cioè almeno uno) dell'intervallo osservato che non contengono il vero valore del parametro . Altrimenti, come si può giustificare il tag 95%? Non sarebbe solo un valido o non valido chiamarlo un intervallo del 90%, 50%, 20% o anche 0%?

Non vedo quanto sia semplicemente soddisfacente affermare che "in realtà significa il 95% o più" senza una limitazione gratuita. Questo perché l'ovvia soluzione matematica è l'intero spazio dei parametri e il problema è banale. supponiamo che io voglia un 50% CI? se limita solo i falsi negativi, l'intero spazio dei parametri è un elemento della configurazione valido utilizzando solo questi criteri.

$\text{100%}$$X=0$$100\times\frac{10^{12}+\frac{9}{10}}{10^{12}+1}\text{%} > \text{95%}$$X=1$

In conclusione, sembra un po 'strano chiedere un intervallo di incertezza, e quindi valutare quell'intervallo usando il valore vero di cui eravamo incerti. Un confronto "più equo", sia per la fiducia che per gli intervalli credibili, per me sembra la verità della dichiarazione di incertezza fornita con l'intervallo .

Il problema inizia con la tua frase:

Gli esempi basati su presupposti precedenti errati non sono accettabili in quanto non dicono nulla sulla coerenza interna dei diversi approcci.

Sì bene, come fai a sapere che il tuo precedente è corretto?

Prendi il caso dell'inferenza bayesiana nella filogenesi. La probabilità di almeno un cambiamento è correlata al tempo evolutivo (lunghezza del ramo t) dalla formula

con te il tasso di sostituzione.

Ora vuoi fare un modello dell'evoluzione, basato sul confronto delle sequenze di DNA. In sostanza, si tenta di stimare un albero in cui si tenta di modellare la quantità di cambiamento tra le sequenze di DNA il più vicino possibile. La P sopra è la possibilità di almeno un cambiamento su un determinato ramo. I modelli evolutivi descrivono le possibilità di cambiamento tra due nucleotidi e da questi modelli evolutivi viene derivata la funzione di stima, con p come parametro o con t come parametro.

Non hai una conoscenza ragionevole e hai scelto un appartamento precedente per p. Ciò implica intrinsecamente un precedente in diminuzione esponenziale per t. (Diventa ancora più problematico se si desidera impostare un precedente piatto su t. Il precedente implicito su p dipende fortemente da dove si è tagliato l'intervallo di t.)

In teoria, t può essere infinito, ma quando si consente un intervallo infinito, anche l'area sotto la sua funzione di densità è uguale all'infinito, quindi è necessario definire un punto di troncamento per il precedente. Ora, quando si sceglie il punto di troncamento sufficientemente grande, non è difficile dimostrare che entrambe le estremità dell'intervallo credibile aumentano, e ad un certo punto il vero valore non è più contenuto nell'intervallo credibile. A meno che tu non abbia una buona idea del precedente, i metodi bayesiani non sono garantiti come uguali o superiori ad altri metodi.

ref: Joseph Felsenstein: Inferring Phylogenies, capitolo 18

Da un lato, mi sto stufando di quel litigio bayesiano / frequentista. Sono entrambi quadri diversi, e nemmeno la Verità Assoluta. Gli esempi classici pro metodi bayesiani provengono invariabilmente dal calcolo della probabilità, e non un solo frequentatore li contraddice. L'argomentazione classica contro i metodi bayesiani implica invariantemente la scelta arbitraria di un priore. E i priori sensibili sono sicuramente possibili.

Tutto si riduce all'uso corretto di entrambi i metodi al momento giusto. Ho visto pochissimi argomenti / confronti in cui entrambi i metodi sono stati applicati correttamente. I presupposti di qualsiasi metodo sono molto sottovalutati e troppo spesso ignorati.

EDIT: per chiarire, il problema sta nel fatto che la stima basata su p differisce dalla stima basata su t nel quadro bayesiano quando si lavora con priori non informativi (che in alcuni casi è l'unica soluzione possibile). Ciò non è vero nel quadro ML per l'inferenza filogenetica. Non si tratta di un precedente sbagliato, è inerente al metodo.

Gli intervalli di confidenza frequentista limitano il tasso di falsi positivi (errori di tipo I) e garantiscono che la loro copertura sarà limitata dal parametro di confidenza, anche nel caso peggiore. Gli intervalli di credibilità bayesiana no.

Quindi, se la cosa a cui tieni sono i falsi positivi e devi limitarli, gli intervalli di confidenza sono l'approccio che vorrai usare.

Ad esempio, supponiamo che tu abbia un re malvagio con un tribunale di 100 cortigiani e cortigiani e che vuole giocare un crudele gioco statistico con loro. Il re ha una borsa di trilioni di monete giuste, più una moneta ingiusta la cui probabilità di testa è del 10%. Eseguirà il seguente gioco. Innanzitutto, estrarrà una moneta in modo uniforme a caso dalla borsa.

Quindi la moneta verrà passata in una stanza di 100 persone e ognuna sarà costretta a fare un esperimento su di essa, in privato, e quindi ogni persona indicherà un intervallo di incertezza del 95% su ciò che pensano sia la probabilità della testa della moneta.

Chiunque dia un intervallo che rappresenta un falso positivo - cioè un intervallo che non copre il vero valore della probabilità delle teste - verrà decapitato.

Se volessimo esprimere la funzione di distribuzione / a posteriori / probabilità del peso della moneta, ovviamente un intervallo di credibilità è quello che fa. La risposta sarà sempre l'intervallo [0,5, 0,5] indipendentemente dal risultato. Anche se capovolgi zero teste o una testa, dirai comunque [0,5, 0,5] perché è molto più probabile che il re abbia pescato una moneta giusta e tu abbia avuto un giorno 1/1024 ottenendo dieci teste di fila , che il re estrasse la moneta ingiusta.

Quindi questa non è una buona idea da usare per i cortigiani e le cortigiane! Perché quando viene estratta la moneta ingiusta, l'intera stanza (tutte e 100 le persone) sarà sbagliata e verranno tutti decapitati.

In questo mondo in cui la cosa più importante sono i falsi positivi, ciò di cui abbiamo bisogno è una garanzia assoluta che il tasso di falsi positivi sarà inferiore al 5%, indipendentemente dalla moneta pescata. Quindi dobbiamo usare un intervallo di confidenza, come Blyth-Still-Casella o Clopper-Pearson, che funzioni e fornisce almeno il 95% di copertura indipendentemente dal vero valore del parametro, anche nel caso peggiore . Se invece tutti usano questo metodo, quindi, indipendentemente dalla moneta pescata, alla fine della giornata possiamo garantire che il numero previsto di persone sbagliate non sarà più di cinque.

Quindi il punto è: se il tuo criterio richiede di limitare i falsi positivi (o equivalentemente, garantire la copertura), devi andare con un intervallo di confidenza. Questo è quello che fanno. Gli intervalli di credibilità possono essere un modo più intuitivo per esprimere l'incertezza, possono funzionare abbastanza bene da un'analisi frequentista, ma non forniranno il limite garantito ai falsi positivi che otterrai quando vai a chiederlo.

(Naturalmente se ti interessano anche i falsi negativi, avrai bisogno di un metodo che garantisca anche quelli ...)

ci sono esempi in cui l'intervallo di confidenza del frequentista è chiaramente superiore all'intervallo credibile bayesiano (secondo la sfida implicitamente fatta da Jaynes).

$\theta$$10$$\theta$$1$$\theta$

Bernardo ha proposto un "riferimento precedente" da utilizzare come standard per la comunicazione scientifica [e persino un "intervallo credibile di riferimento" ( Bernardo - regioni credibili oggettive )]. Supponendo che questo sia "l'approccio bayesiano", ora la domanda è: quando un intervallo è superiore a un altro? Le proprietà frequentiste dell'intervallo bayesiano non sono sempre ottimali, ma nemmeno le proprietà bayesiane dell '"intervallo frequentista"
(a proposito, qual è "l'" intervallo frequentista?)