Qual è la connessione tra regioni credibili e test di ipotesi bayesiana?

38

Nelle statistiche del frequentista, esiste una stretta connessione tra intervalli di confidenza e test. Usando l'inferenza su nella distribuzione come esempio, l' intervallo di confidenza contiene tutti i valori di che non sono rifiutati dal test al livello di significatività . $\mu$ $\rm N(\mu,\sigma^2)$ $1-\alpha$

\bar{x} \pm t_{α / 2} (n - 1) \cdot s / \sqrt{n}

$\bar{x}\pm t_{\alpha/2}(n-1)\cdot s/\sqrt{n}$

μ

$\mu$

t

$t$

α

$\alpha$

Gli intervalli di confidenza del frequentista sono in questo senso test invertiti. (Per inciso, ciò significa che possiamo interpretare il valore come il valore più piccolo di per il quale il valore null del parametro verrebbe incluso nell'intervallo di confidenza . Trovo che questo possa essere un modo utile per spiega quali sono i valori per le persone che conoscono un po 'di statistiche.) $p$ $\alpha$ $1-\alpha$ $p$

Leggendo le basi teoriche delle decisioni delle regioni credibili bayesiane , ho iniziato a chiedermi se esiste una connessione / equivalenza simile tra regioni credibili e test bayesiani.

C'è una connessione generale?
Se non esiste una connessione generale, ci sono esempi in cui esiste una connessione?
Se non esiste una connessione generale, come possiamo vederlo?

— MånsT
fonte

Una domanda correlata di cui mi stavo chiedendo: qualcuno potrebbe indicarmi un documento che considerano il "gold standard" o "esempio canonico" dei test delle ipotesi bayesiane utilizzati su un problema reale, piuttosto che un esempio di giocattolo. Non ho mai veramente capito il test delle ipotesi bayesiane e penso che troverei un buon esempio del suo uso istruttivo.

— Patrick Caldon,

2

@PatrickCaldon Dubito che ci sia un "documento d'oro" su questo perché il test delle ipotesi bayesiane è formulato in un quadro teorico-decisionale (quindi è troppo ampio per essere catturato in un singolo documento). Il libro menzionato nella risposta di MånsT fornisce un buon materiale, anche i libri e i discorsi di Berger potrebbero essere interessanti.

Credo che il documento ba.stat.cmu.edu/vol03is01.php possa chiarire la maggior parte della nostra discussione qui.

— Carlos AB Pereira,

Grazie, @Carlos! Il collegamento non sembra funzionare in questo momento, ma immagino che porti al tuo documento del 2008 in Bayesian Analysis con Stern e Wechsler. Ho scoperto che una lettura molto interessante!

— Martedì

Caro MånsT: l'analisi bayesiana è passata al Progetto Euclide. L'articolo del Prof. Carlos è qui: projecteuclid.org/…

— Zen,

19

Sono riuscito a trovare un esempio in cui esiste una connessione. Sembra dipendere fortemente dalla mia scelta della funzione di perdita e dall'uso di ipotesi composite.

Comincio con un esempio generale, a cui segue un semplice caso speciale che coinvolge la distribuzione normale.

Esempio generale

Per un parametro sconosciuto , sia lo spazio dei parametri e considera l'ipotesi rispetto all'alternativa . $\theta$ $\Theta$ $\theta\in\Theta_0$ $\theta\in\Theta_1=\Theta\backslash\Theta_0$

Lasciate essere una funzione di test, utilizzando la notazione a Xi'an 's The bayesiano scelta (che è una sorta di all'indietro per quello che io almeno sono abituato a), in modo che noi rifiutiamo se e accettare se . Considera la funzione di perdita $\varphi$ $\Theta_0$ $\varphi=0$ $\Theta_0$ $\varphi=1$ Il test di Bayes è quindi

L (θ, φ) = {\begin{cases} 0, & Se φ = {io}_{Θ_{0}} (θ) \\ {un'}_{0}, & Se θ \in Θ_{0} e φ = 0 \\ {un'}_{1}, & Se θ \in Θ_{1} e φ = 1. \end{cases}

$L(\theta,\varphi) = \begin{cases} 0, & \mbox{if } \varphi=\mathbb{I}_{\Theta_0}(\theta) \\ a_0, & \mbox{if } \theta\in\Theta_0 \mbox{ and }\varphi=0\\ a_1, & \mbox{if } \theta\in\Theta_1 \mbox{ and }\varphi=1. \end{cases}$

φ^{π} (X) = 1 io f P (θ \in Θ_{0} | X) \geq {un'}_{1} ({un'}_{0} + {un'}_{1})^{- 1} .

$\varphi^\pi(x)=1\quad \rm if\quad P(\theta\in\Theta_0|x)\geq a_1(a_0+a_1)^{-1}.$

Prendi e . L'ipotesi nulla è accettata se . $a_0=\alpha\leq 0.5$ $a_1=1-\alpha$ $\Theta_0$ $\rm P(\theta\in\Theta_0|x)\geq 1-\alpha$

Ora, una regione credibile è una regione tale che . Pertanto, per definizione, se è tale che , può essere una regione credibile solo se . $\Theta_c$ $\rm P(\Theta_c|x)\geq 1-\alpha$ $\Theta_0$ $\rm P(\theta\in\Theta_0|x)\geq 1-\alpha$ $\Theta_c$ $\rm P(\Theta_0\cap\Theta_c|x)>0$

Accettiamo l'ipotesi nulla se solo se ogni regione incredibile contiene un sottoinsieme non nullo di . $1-\alpha$ $\Theta_0$

Un caso speciale più semplice

Per illustrare meglio che tipo di test abbiamo nell'esempio sopra, prendere in considerazione il seguente caso speciale.

Sia con . Impostare , e , in modo che desideriamo verificare se . $x\sim \rm N(\theta,1)$ $\theta\sim \rm N(0,1)$ $\Theta=\mathbb{R}$ $\Theta_0=(-\infty,0]$ $\Theta_1=(0,\infty)$ $\theta\leq 0$

I calcoli standard danno doveè il cdf normale standard.

P (θ \leq 0 | x) = Φ (- x / \sqrt{2}),

$\rm P(\theta\leq 0|x)=\Phi(-x/\sqrt{2}),$

Φ (\cdot)

$\Phi(\cdot)$

Sia tale che . è accettato quando $z_{1-\alpha}$ $\Phi(z_{1-\alpha})=1-\alpha$ $\Theta_0$ . $-x/\sqrt{2}>z_{1-\alpha}$

Ciò equivale ad accettare quando Per,viene pertanto respinto quando. $x\leq \sqrt{2}z_{\alpha}.$ $\alpha=0.05$ $\Theta_0$ $x>-2.33$

Se invece usiamo il precedente , viene rifiutato quando . $\theta\sim \rm N(\nu,1)$ $\Theta_0$ $x>-2.33-\nu$

Commenti

La funzione di perdita di cui sopra, in cui riteniamo che accettare erroneamente l'ipotesi nulla sia peggiore che respingerla in modo errato, a prima vista può sembrare leggermente artificiale. Può tuttavia essere di notevole utilità in situazioni in cui i "falsi negativi" possono essere costosi, ad esempio quando si effettuano controlli per malattie contagiose pericolose o terroristi.

La condizione che tutte le regioni credibili debbano contenere una parte di è in realtà un po 'più forte di quanto speravo: nel caso del frequentatore la corrispondenza è tra un singolo test e un singolo intervallo di confidenza e non tra un singolo test e tutti gli intervalli . $\Theta_0$ $1-\alpha$ $1-\alpha$

— MånsT
fonte

2

+1 Vorrei utilizzare la regione di credibilità anziché l' intervallo di credibilità .

1

Grazie @Procrastinator! Ho modificato la risposta e l'ho cambiata in "regione" mentre ero lì. Lavoro principalmente con regioni HPD di posteriori unimodali, quindi tendo a considerare le regioni di confidenza come intervalli. :)

— MånsT

12

Michael e Fraijo hanno suggerito che semplicemente verificare se il valore del parametro di interesse fosse contenuto in una regione credibile era l'equivalente bayesiano di invertire gli intervalli di confidenza. All'inizio ero un po 'scettico su questo, dal momento che non era ovvio per me che questa procedura avesse davvero portato a un test bayesiano (nel solito senso).

A quanto pare, lo fa - almeno se si è disposti ad accettare un determinato tipo di funzioni di perdita. Mille grazie a Zen , che ha fornito riferimenti a due articoli che stabiliscono una connessione tra regioni HPD e test di ipotesi:

Pereira & Stern (1999), Prove e credibilità: test completo della significatività bayesiana per ipotesi precise , Entropia
Test Madruga, Esteves & Wechsler (2001), Sulla Bayesianità di Pereira-Stern , Test

Proverò a sintetizzarli qui, per riferimento futuro. Analogamente all'esempio della domanda originale, tratterò il caso speciale in cui le ipotesi sono dove è lo spazio dei parametri.

H_{0} : θ \in Θ_{0} = {θ_{0}} and H_{1} : θ \in Θ_{1} = Θ ∖ Θ_{0},

$H_0: \theta\in\Theta_0=\{\theta_0\}\qquad \mbox{and}\qquad H_1: \theta\in\Theta_1=\Theta\backslash \Theta_0,$

Θ

$\Theta$

Pereira & Stern hanno proposto un metodo per testare tali ipotesi senza dover mettere le probabilità precedenti su e $\Theta_0$ $\Theta_1$ .

Sia la funzione di densità di e definisca $\pi(\cdot)$ $\theta$

T (x) = {θ : π (θ | x) > π (θ_{0} | x)} .

$T(x)=\{ \theta:\pi(\theta|x)>\pi(\theta_0|x)\}.$

Ciò significa che è una regione HPD $T(x)$ , con credibilità . $P(\theta\in T(x)|x)$

Il test Pereira-Stern rifiuta quando è "piccolo" ( , diciamo). Per un posteriore unimodale, ciò significa che è lontano dalle code del posteriore, rendendo questo criterio un po 'simile all'utilizzo dei valori p. In altre parole, viene rifiutato al livello del se e solo se non è contenuto nella regione HPD al . $\Theta_0$ $P(\theta\notin T(x)|x)$ $<0.05$ $\theta_0$ $\Theta_0$ $5~\%$ $95~\%$

Lascia che la funzione di prova sia se è accettato e se viene rifiutato. Madruga et al. proposto la funzione di perdita $\varphi$ $1$ $\Theta_0$ $0$ $\Theta_0$ con.

L (θ, φ, x) = {\begin{cases} a (1 - I (θ \in T (x)), & if φ (x) = 0 \\ b + c I (θ \in (T (x)), & if φ (x) = 1, \end{cases}

$L(\theta,\varphi,x) = \begin{cases} a(1-\mathbb{I}(\theta\in T(x)), & \mbox{if } \varphi(x)=0 \\ b+c\mathbb{I}(\theta\in(T(x)), & \mbox{if } \varphi(x)=1, \end{cases}$

a, b, c > 0

$a,b,c>0$

La minimizzazione della perdita attesa porta al test Pereira-Stern in cui viene rifiutato se $\Theta_0$ $P(\theta\notin T(x)|x)<(b+c)/(a+c).$

$\theta_0$

$x$

Per ulteriori approfondimenti su questo argomento, consultare un elenco di articoli che citano il Madruga et al. articolo .

Aggiornamento ottobre 2012:

$x$

$q_{\alpha}(\theta|x)$ $\theta$ $P(\theta\leq q_{\alpha}(\theta|x))=\alpha$ $(q_{\alpha/2}(\theta|x),q_{1-\alpha/2}(\theta|x))$ $\Theta_0$ $x$

$\Theta_0=\{\theta_0\}$ $\Theta_0$ $\Theta_{-1}=\{\theta:\theta<\theta_0\}$ $\Theta_{1}=\{\theta:\theta>\theta_0\}$

$\varphi=i$ $\Theta_i$ $0-1$

L_{2} (θ, φ) = {\begin{cases} 0, & if θ \in Θ_{i} and φ = i, i \in {- 1, 0, 1}, \\ α / 2, & if θ \notin Θ_{0} and φ = 0, \\ 1, & if θ \in Θ_{i} \cup Θ_{0} and φ = - i, i \in {- 1, 1}, \end{cases}

$L_2(\theta,\varphi) = \begin{cases} 0, & \mbox{if } \theta\in\Theta_i\mbox{ and }\varphi=i, \quad i\in \{-1,0,1\}, \\ \alpha/2, & \mbox{if } \theta\notin\Theta_0 \mbox{ and }\varphi=0,\\ 1, & \mbox{if } \theta\in\Theta_{i}\cup\Theta_0 \mbox{ and }\varphi=-i,\quad i\in\{-1,1\},\end{cases}$

Θ_{0}

$\Theta_0$

θ_{0}

$\theta_0$

Questa mi sembra una funzione di perdita abbastanza ragionevole. Discuto di questa perdita, della perdita di Madruga-Esteves-Wechsler e dei test usando ulteriormente set credibili nel manoscritto su arXiv.

— MånsT
fonte

2

(Lo

— segnerò

L : {P a r a m e t e r S p a c e} \times {A c t i o n s} \to R

$L : \{Parameter\; Space\} \times \{Actions\} \to \mathbb{R}$

@Zen: Sì, certo, l'ho espresso erroneamente. Grazie per la segnalazione. :)

— Martedì

3

@ MånsT: (+1) Questa è una risposta interessante. Rispetto moltissimo il fatto che tu abbia scelto di contrassegnarlo come CW in questo caso, ma vorrei che non lo avessi fatto. :-)

— cardinale il

8

Ho letto casualmente il tuo documento arXiv prima di arrivare a questa domanda e ho già scritto un post sul blog ( previsto per l'8 ottobre ). Per riassumere, trovo la tua costruzione di interesse teorico, ma penso anche che sia troppo inventato per essere raccomandato, esp. poiché non sembra risolvere l'ipotesi punto-null del problema del test bayesiano, che tradizionalmente richiede di mettere una massa precedente sul valore del parametro punto-null.

$\varphi$ $H_0: \theta\le\theta_0$ $H_0: \theta= \theta_0$

$H_0$ $\Theta_0=\{\theta_0\}$

— Xi'an
fonte

1

1 - α / 2

$1-\alpha/2$

α / 2

$\alpha/2$

φ = 0

$\varphi=0$

α / 2 < min (P (Θ_{- 1}), P (Θ_{1}))

$\alpha/2<\mbox{min}(P(\Theta_{-1}),P(\Theta_1))$

θ_{0}

$\theta_0$ è nell'intervallo credibile. Lo cambierò nel manoscritto arXiv il prima possibile!

— Martedì

H_{0}

$H_0$

Θ_{0}

$\Theta_0$

1

H_{0}

$H_0$

P (θ \in Θ_{i} | x) > α / 2

$P(\theta\in\Theta_i|x)>\alpha/2$

3

È possibile utilizzare un intervallo credibile (o regione HPD) per il test delle ipotesi bayesiane. Non penso sia comune; tuttavia, per essere onesti, non vedo molto né uso in pratica test formali di ipotesi bayesiana. I fattori di Bayes sono usati occasionalmente (e nel "Bayesian Core" di Robert in qualche modo lodati) nel test di ipotesi istituito.

— Fraijo
fonte

1

Saluti @Fraijo! Potresti forse approfondire un po 'come la tua risposta differisce da quella di Michael Chernick?

— Martedì

2

Non penso che l'uso dei fattori di Bayes per verificare l'ipotesi sia "occasionale", vedi ad esempio questo riferimento .

@ MånsT nel suo follow-up il processo descritto da Michael sembra essere un test di Bayes Factor. In sostanza, crei due modelli con priori diversi in base alla tua ipotesi e quindi confronti la probabilità del set di dati in base a tali priori. Il riferimento Procrasinator pubblicato fornisce una rapida rassegna di ciò.

— Fraijo,

1

@Procrastinator L'ho detto solo occasionalmente perché nel mio settore vedo poche persone che usano i metodi bayesiani, per non parlare dell'uso dei metodi bayesiani per verificare l'ipotesi. Personalmente utilizzo i fattori Bayes per verificare la sensibilità dei miei modelli rispetto al precedente, che suppongo sia una forma di verifica delle ipotesi.

— Fraijo,

1

@ Risposta breve di MånsT: no. Stabilire un intervallo credibile e scoprire se contiene l'ipotesi nulla è l'unico test diretto che è paragonabile al test di ipotesi frequentista. Esistono due problemi con questo metodo: 1) il fatto ovvio che in alcuni casi è possibile trovare più regioni (ad esempio un HPD contro una regione simmetrica) e 2) testare un'ipotesi puntuale (theta = a) è in conflitto con l'ideale bayesiano dei parametri prendere distribuzioni (theta ~ P (theta)).

— Fraijo,

1

Una regione credibile è solo una regione in cui l'integrale della densità posteriore sulla regione è una probabilità specificata, ad esempio 0,95. Un modo per formare un test di ipotesi bayesiana è vedere se il valore (i) ipotizzato nullo del (i) parametro (i) ricade nella regione credibile. In questo modo possiamo avere una corrispondenza 1-1 simile tra test di ipotesi e regioni credibili, proprio come fanno i frequentatori con intervalli di confidenza e test di ipotesi. Ma questo non è l'unico modo per fare test di ipotesi.

— Michael R. Chernick
fonte

Questo tipo di test bayesiani ad hoc sono spesso utilizzati nella pratica?

— Martedì

1

@MansT Non credo. Penso che di solito i bayesiani mettano in chiaro le probabilità che l'ipotesi nulla sia vera e che quindi si basino sulle probabilità posteriori del costrutto di dati. Se le probabilità posteriori sono pungenti rispetto all'ipotesi nulla, allora viene respinta. Non sono la persona migliore da chiedere, dato che non faccio molto spesso l'inferenza bayesiana.

— Michael R. Chernick,

2

Il test descritto da Michael è accreditato a Lindley da Zellner nel suo libro sull'econometria bayesiana.

— Zen,

1

Sì, questo tipo di test è certamente nato dalle idee bayesiane , ma non sono sicuro che abbiano solide basi nella teoria delle decisioni bayesiane . In quest'ultima impostazione mi aspetterei che i test derivino da una funzione di perdita, che generalmente comporta una funzione di test.

— Martedì

2

Caro MånsT, dai un'occhiata a questi documenti: mdpi.org/entropy/papers/e1040099.pdf w.ime.usp.br/~jstern/miscellanea/citacoes/swtest1.pdf

— Zen

-1

Lasciami dare come l'ho ottenuto leggendo la risposta di Tim .

Si basa sulle viste della tabella con ipotesi (parametro stimato) in colonne e osservazioni nelle righe.

Nella prima tabella, le probabilità di col sono pari a 1, ovvero sono probabilità condizionate, la cui condizione, entrando nell'evento della colonna viene fornita nella riga inferiore, chiamata "precedente". Nell'ultima tabella, le righe allo stesso modo sommano a 1 e nel mezzo ci sono probabilità congiunte, cioè probabilità condizionali che si trovano nella prima e nell'ultima tabella volte la probabilità della condizione, i priori.

Le tabelle eseguono sostanzialmente la trasformazione bayesiana: nella prima tabella si danno pdf delle osservazioni (righe) in ogni colonna, si imposta il precedente per questa ipotesi (sì, la colonna ipotesi è un pdf di osservazioni in base a tale ipotesi), lo si fa poiché ogni colonna e tabella la prende prima nella tabella delle probabilità congiunte e poi nelle probabilità della tua ipotesi, condizionata dalle osservazioni.

Come ho ottenuto dalla risposta di Tim (correggimi se sbaglio), l'approccio Intervallo critico esamina la prima tabella. Cioè, una volta completato l'esperimento, conosciamo la riga della tabella (o testa o croce nel mio esempio, ma potresti fare esperimenti più complessi, come 100 lanci di monete e ottenere una tabella con 2 ^ 100 righe). Il frequentista analizza le sue colonne, che, come ho detto, è una distribuzione di possibili esiti a condizione che l'ipotesi si raffreddi (ad esempio la moneta è giusta nel mio esempio) e rifiuta quelle ipotesi (colonne) che hanno dato un valore di probabilità molto basso a la riga osservata.

Bayesianist regola prima le probabilità, convertendo i col in righe e guardando la tabella 3, trova la riga del risultato osservato. Dal momento che è anche un pdf, passa attraverso la riga dei risultati dell'esperimento e sceglie l'ipotesi con il più alto prob fino a quando la sua tasca di credibilità al 95% è piena. Il resto dell'ipotesi è respinto.

Come ti piace? Sono ancora in fase di apprendimento e la grafica mi sembra utile. Credo di essere sulla buona strada poiché un utente rispettabile dà la stessa immagine, quando analizza la differenza di due approcci . Ho proposto una visione grafica della meccanica della selezione delle ipotesi.

Incoraggio tutti a leggere l'ultima risposta di Keith, ma il mio quadro di meccanica dei test di ipotesi può immediatamente dire che il frequentista non guarda l'altra ipotesi quando verifica quella attuale mentre la considerazione di ipotesi altamente credibili influisce fortemente sulla ricezione / rifiuto di altre ipotesi in bayesiano analisi perché se si dispone di un'unica ipotesi che si verifica il 95% delle volte in base ai dati osservati, si gettano immediatamente tutte le altre ipotesi, indipendentemente dalla misura in cui i dati si adattano al loro interno. Mettiamo da parte l'analisi statistica del potere, che contrappone due ipotesi basate sui loro intervalli di confidenza.

Ma, a quanto pare, ho notato la somiglianza tra due approcci: sembrano collegati attraverso la P(A | B) > P(A) <=> P(B|A) > P(B)proprietà . Fondamentalmente, se esiste una dipendenza tra A e B, verrà visualizzato come correlazione sia nelle tabelle freq che bayesiane. Quindi, facendo un test di ipotesi si correla con l'altro, devono dare gli stessi risultati. Studiare le radici della correlazione, probabilmente ti darà la connessione tra i due. Nella mia domanda ci chiedo davvero perché la differenza è invece della correlazione assoluta?

— Piccolo alieno
fonte