Uno stimatore di Bayes richiede che il vero parametro sia una possibile variabile del precedente?

Potrebbe trattarsi di una domanda filosofica, ma qui andiamo: nella teoria delle decisioni, il rischio di uno stimatore di Bayes per è definito rispetto a una distribuzione precedente su .θ∈Θ¸$\hat\theta(x)$$\theta\in\Theta$$\pi$$\Theta$

Ora, da un lato, affinché il vero abbia generato i dati (cioè "esista"), deve essere una possibile variabile sotto , ad esempio avere probabilità diversa da zero, densità diversa da zero, ecc .; d'altra parte, non è noto, quindi la scelta di un precedente, quindi non abbiamo alcuna garanzia che il vero sia una possibile variabile sotto il abbiamo scelto.θ π θ θ $\theta$$\theta$$\pi$$\theta$$\theta$$\pi$

Ora, mi sembra che in qualche modo dobbiamo selezionare tale che sarebbe una possibile variabile. Altrimenti, alcuni teoremi non reggono. Ad esempio, la stima minimax non sarebbe una stima di Bayes per un precedente meno favorevole, dal momento che potremmo rendere tale precedente arbitrariamente negativo escludendo una grande regione intorno e includendo dal suo dominio. Tuttavia, garantire che sia effettivamente nel dominio potrebbe essere difficile da ottenere.θ θ $\pi$$\theta$$\theta$$\theta$

Quindi le mie domande sono:

1. Si presume generalmente che l'attuale sia una possibile variabile di ?$\theta$$\pi$
2. Questo può essere garantito?
3. I casi che violano questo almeno possono essere rilevati in qualche modo, quindi non ci si affida a teoremi come minimax quando le condizioni non valgono?
4. Se non è richiesto, perché valgono i risultati standard nella teoria delle decisioni?

Molto bella domanda! Avrebbe davvero senso che una "buona" distribuzione precedente dia probabilità positive o valore di densità positiva al parametro "vero" , ma da una prospettiva puramente decisiva ciò non deve essere vero. Un semplice contro-esempio a questa "intuizione" secondo cui π ( θ 0 ) > 0 dovrebbe essere necessario, quando π ( ⋅ ) è la densità precedente e θ 0 è il valore "vero" del parametro, è il brillante risultato di minimax di Casella e Strawderman (1981): quando si stima una media normale μ sulla base di una singola osservazione $\theta_0$

$$\pi(\theta_0)>0$$ $\pi(\cdot)$$\theta_0$$\mu$ con il vincolo aggiuntivo che | μ | < ρ , se ρ è abbastanza piccolo, ρ ≤ 1,0567 in particolare, lo stimatore minimax corrisponde a un'uniforme (meno favorevole) prima di { - ρ , ρ } , il che significa che π dà lo stesso peso a - ρ e ρ (e nessuno a nessuno altro valore della media μ ) π ( θ ) = $x\sim{\cal N}(\mu,1)$$|\mu|<\rho$$\rho$$\rho\le 1.0567$$\{-\rho,\rho\}$$\pi$$-\rho$$\rho$$\mu$ Quandoρaumenta il precedente meno favorevole vede crescere il suo supporto, ma rimanendo un insieme finito di valori possibili. Tuttavia l'aspettativa posteriore,E[μ| x], può assumere qualsiasi valore su(-ρ,ρ). $$\pi(\theta)=\frac{1}{2}\delta_{-\rho}(\theta)+ \frac{1}{2}\delta_{\rho}(\theta)$$ $\rho$$\mathbb{E}[\mu|x]$$(-\rho,\rho)$

Il nocciolo della discussione (vedi commenti) potrebbe essere che, se lo stimatore di Bayes fosse costretto ad essere un punto nel supporto di , le sue proprietà sarebbero piuttosto diverse.$\pi(\cdot)$

Allo stesso modo, quando si considerano gli stimatori ammissibili, gli stimatori di Bayes associati a un vero e proprio precedente su un set compatto sono generalmente ammissibili, sebbene abbiano un supporto limitato.

In entrambi i casi, la nozione di frequentista (minimaxità o ammissibilità) è definita sulla possibile gamma di parametri piuttosto che sul valore "vero" del parametro (che porta una risposta alla domanda 4.) Ad esempio, guardando il rischio posteriore o al rischio di Bayes ∫ X ∫ Θ L ( θ , δ ) π ( θ ) f ( x | θ ) d θ d

$$\int_\Theta L(\theta,\delta) \pi(\theta|x)\text{d}\theta$$ $$\int_{\cal X}\int_\Theta L(\theta,\delta) \pi(\theta)f(x|\theta)\text{d}\theta\text{d}x$$ non implica il valore vero .$\theta_0$

Inoltre, come fuori appuntito nell'esempio precedente, quando lo stimatore Bayes è definito da un'espressione formale come posteriore medio θ ¸ ( x ) = ∫ Θ θ ¸ ( θ | x ) d θ per la quadratica (o L 2 ) perdita, questo stimatore può assumere valori al di fuori del supporto di π nel caso in cui questo supporto non sia convesso.

$$\hat{\theta}^\pi(x)=\int_\Theta \theta\pi(\theta|x)\text{d}\theta$$ $L_2$$\pi$

A parte, durante la lettura

affinché il vero θ abbia generato i dati (cioè "esista"), θ deve essere una possibile variabile sotto π, ad esempio avere probabilità diversa da zero, densità diversa da zero

$\theta_0$$\pi$$x$$f(x|\theta_0)$$\pi$${\mathscr A}$${\mathscr A}$$\hat{\theta}^\pi$

1. $\theta$

2. $(-\infty, \infty)$$[0,1]$$(0, \infty)$

3. Se il tuo posteriore è "impilato" su un bordo del dominio del priore e il tuo priore impone una restrizione non necessaria sul dominio su quello stesso bordo, questo è un indicatore ad hoc che la restrizione non necessaria potrebbe causare problemi. Ma ciò dovrebbe accadere solo se a) hai costruito un priore la cui forma è guidata in gran parte dalla convenienza anziché dall'effettiva conoscenza precedente, e b) la forma indotta dalla convenienza del priore limita il dominio del parametro a un sottoinsieme di ciò che è " dominio "naturale" può essere considerato come.

Un esempio di ciò è una vecchia pratica, si spera ormai obsoleta, di limitare il precedente a un termine di varianza leggermente diverso da zero al fine di evitare potenziali difficoltà computazionali. Se il vero valore della varianza è tra il limite e lo zero, beh ... ma in realtà pensare ai potenziali valori della varianza dati i dati, o (ad esempio) mettere invece il precedente nel registro della varianza, consentirà per evitare questo problema, e una lieve intelligenza simile dovrebbe permetterti di evitare i priori che limitano il dominio in generale.

4. Risposta del n. 1.

$\theta$$-\infty$$\infty$

$\theta$