Qual è la giustificazione teorica delle decisioni per le procedure di intervallo credibili bayesiane?

(Per capire perché l'ho scritto, controlla i commenti sotto la mia risposta a questa domanda .)

Errori di tipo III e teoria delle decisioni statistiche

Dare la risposta giusta alla domanda sbagliata è talvolta chiamato errore di tipo III. La teoria delle decisioni statistiche è una formalizzazione del processo decisionale in condizioni di incertezza; fornisce un quadro concettuale che può aiutare a evitare errori di tipo III. L'elemento chiave del framework è chiamato funzione di perdita . Prende due argomenti: il primo è (il sottoinsieme rilevante di) il vero stato del mondo (ad esempio, nei problemi di stima dei parametri, il valore del parametro vero ); il secondo è un elemento dell'insieme di possibili azioni (ad esempio, nei problemi di stima dei parametri, la stimaθ$\theta$$\hat{\theta})$. L'output modella la perdita associata ad ogni possibile azione rispetto a ogni possibile vero stato del mondo. Ad esempio, nei problemi di stima dei parametri, alcune funzioni di perdita ben note sono:

• la perdita di errore assoluta$L(\theta, \hat{\theta}) = |\theta - \hat{\theta}|$
• la perdita di errore al quadrato$L(\theta, \hat{\theta}) = (\theta - \hat{\theta})^2$
• Perdita LINEX di Hal Varian$L(\theta, \hat{\theta}; k) = \exp(k(\theta - \hat{\theta})) - k(\theta - \hat{\theta}) - 1,\text{ } k \ne0$

Esaminare la risposta per trovare la domanda

C'è un caso in cui si potrebbe tentare di evitare errori di tipo III concentrandosi sulla formulazione di una corretta funzione di perdita e procedendo attraverso il resto dell'approccio teorico-decisionale (non dettagliato qui). Questo non è il mio breve - dopo tutto, gli statistici sono ben equipaggiati con molte tecniche e metodi che funzionano bene anche se non derivano da un tale approccio. Ma il risultato finale, mi sembra, è che la stragrande maggioranza degli statistici non conosce e non si preoccupa della teoria delle decisioni statistiche, e penso che stiano perdendo. A questi statistici, direi che la ragione per cui potrebbero trovare utile la teoria della decisione statistica in termini di prevenzione dell'errore di tipo III è perché fornisce un quadro in cui chiedere qualsiasi procedura di analisi dei dati proposta:quale funzione di perdita (se presente) gestisce la procedura in modo ottimale? Cioè, in quale situazione decisionale, esattamente, fornisce la migliore risposta?

Perdita attesa posteriore

Da una prospettiva bayesiana, la funzione di perdita è tutto ciò di cui abbiamo bisogno. Possiamo praticamente saltare il resto della teoria delle decisioni - quasi per definizione, la cosa migliore da fare è minimizzare la perdita attesa posteriore, cioè trovare l'azione che minimizza \ tilde {L} (a) = \ int _ {\ Theta} L (\ theta, a) p (\ theta | D) d \ theta .˜ L ( a ) = ∫ Θ L ( θ , a ) p ( θ | D ) d $a$$\tilde{L}(a) = \int_{\Theta}L(\theta, a)p(\theta|D)d\theta$

(E per quanto riguarda le prospettive non bayesiane? Bene, è un teorema della teoria delle decisioni del frequentista - in particolare, il Teorema della classe completa di Wald - che l' azione ottimale sarà sempre quella di ridurre al minimo la perdita attesa bayesiana posteriore rispetto ad alcune (possibilmente impropria) La difficoltà con questo risultato è che si tratta di un teorema di esistenza che non fornisce indicazioni su quale prima dell'uso, ma limita in modo fruttuoso la classe di procedure che possiamo "invertire" per capire esattamente quale sia la domanda che siamo risposta. In particolare, il primo passo per invertire qualsiasi procedura non bayesiana è capire quale (se presente) procedura bayesiana si replica o si avvicina).

Ehi ciano, sai che questo è un sito di domande e risposte, giusto?

Il che mi porta - finalmente - a una domanda statistica. Nelle statistiche bayesiane, quando si forniscono stime di intervallo per i parametri univariati, due procedure di intervallo credibile comuni sono l'intervallo credibile basato sul quantile e l'intervallo credibile di densità posteriore più elevata. Quali sono le funzioni di perdita alla base di queste procedure?

Nella stima dell'intervallo univariato, l'insieme delle azioni possibili è l'insieme delle coppie ordinate che specificano gli endpoint dell'intervallo. Lascia che un elemento di quell'insieme sia rappresentato da .$(a, b),\text{ } a \le b$

Massimi intervalli di densità posteriore

Lascia che la densità posteriore sia . Gli intervalli di densità posteriore più elevati corrispondono alla funzione di perdita che penalizza un intervallo che non contiene il valore reale e penalizza anche gli intervalli in proporzione alla loro lunghezza:$f(\theta)$

$L_{HPD}(\theta, (a, b); k) = I(\theta \notin [a, b]) + k(b – a), \text{} 0 < k \le max_{\theta} f(\theta)$ ,

dove è la funzione indicatore . Questo dà la perdita posteriore prevista$I(\cdot)$

$\tilde{L}_{HPD}((a, b); k) = 1 - \Pr(a \le \theta \le b|D) + k(b – a)$ .

L'impostazione di fornisce le condizioni necessarie per un ottimale locale all'interno dello spazio dei parametri: - esattamente la regola per gli intervalli HPD, come previsto.f(a)=f(b)=$\frac{\partial}{\partial a}\tilde{L}_{HPD} = \frac{\partial}{\partial b}\tilde{L}_{HPD} = 0$$f(a) = f(b) = k$

La forma di fornisce alcune informazioni sul perché gli intervalli HPD non sono invarianti a una trasformazione monotona crescente del parametro. L' intervallo HPD dello spazio trasformato nello spazio è diverso dall'intervallo HPD dello spazio perché i due intervalli corrispondono a diverse funzioni di perdita: l' intervallo HPD dello spazio corrisponde a una penalità di lunghezza trasformata .g(θ)θg(θ)g(θ)g(θ)k(g(b)-g(a)$\tilde{L}_{HPD}((a, b); k)$$g(\theta)$$\theta$$g(\theta)$$g(\theta)$$g(\theta)$$k(g(b) – g(a))$

Intervalli credibili basati su quantili

Considerare la stima puntuale con la funzione di perdita

$L_q(\theta, \hat{\theta};p) = p(\hat{\theta} - \theta)I(\theta < \hat{\theta}) + (1-p)(\theta - \hat{\theta})I(\theta \ge \hat{\theta}), \text{ } 0 \le p \le 1$ .

La perdita attesa posteriore è

$\tilde{L}_q(\hat{\theta};p)=p(\hat{\theta}-\text{E}(\theta|\theta < \hat{\theta}, D)) + (1 - p)(\text{E}(\theta | \theta \ge \hat{\theta}, D)-\hat{\theta})$ .

L'impostazione di produce l'equazione implicita$\frac{d}{d\hat{\theta}}\tilde{L}_q=0$

$\Pr(\theta < \hat{\theta}|D) = p$ ,

cioè, il ottimale è il % quantile della distribuzione posteriore, come previsto.$\hat{\theta}$$(100p)$

Pertanto, per ottenere stime di intervallo basate sul quantile, la funzione di perdita è

$L_{qCI}(\theta, (a,b); p_L, p_U) = L_q(\theta, a;p_L) + L_q(\theta, b;p_U)$ .

Intervalli di dimensioni minime

Un'ovvia scelta di una funzione di perdita per la selezione degli intervalli (sia bayesiani che frequentisti) è quella di utilizzare la dimensione degli intervalli misurata in termini di distribuzioni marginali. Quindi, inizia con la proprietà desiderata o la funzione di perdita e ricava gli intervalli ottimali. Questo tende a non essere fatto, come è esemplificato dalla presente domanda, anche se è possibile. Per i set credibili bayesiani, ciò corrisponde a minimizzare la probabilità precedente dell'intervallo o a massimizzare la credenza relativa, ad esempio, come indicato in Evans (2016). La dimensione può anche essere utilizzata per selezionare i set di confidenza frequentista (Schafer 2009). I due approcci sono correlati e possono essere implementati abbastanza facilmente tramite regole di decisione che includevano preferibilmente decisioni con grandi informazioni reciproche puntuali (Bartels 2017).

Bartels, C., 2017. Utilizzo di conoscenze pregresse nei test per frequentisti. figshare. https://doi.org/10.6084/m9.figshare.4819597.v3

Evans, M., 2016. Misurare le prove statistiche usando la credenza relativa. Giornale di biotecnologia computazionale e strutturale, 14, pagg. 91-96.

Schafer, CM e Stark, PB, 2009. Costruzione di aree di confidenza di dimensioni attese ottimali. Journal of American Statistical Association, 104 (487), pagg. 1080-1089.