Qual è la relazione dietro Jeffreys Priors e una varianza che stabilizza la trasformazione?

Stavo leggendo del precedente di Jeffreys su wikipedia: Jeffreys Prior e ho visto che dopo ogni esempio, descrive come una trasformazione stabilizzatrice della varianza trasforma il priore di Jeffreys in un precedente uniforme.

Ad esempio, per il caso di Bernoulli, si afferma che per una moneta che è lanciata con probabilità $\gamma \in [0,1]$ , il modello di prova di Bernoulli produce che il Jeffreys precedente per il parametro $\gamma$ è:

$$p(\gamma) \propto \frac{1}{\sqrt{\gamma ( 1-\gamma)}}$$

Indica quindi che questa è una distribuzione beta con $\alpha = \beta = \frac{1}{2}$ . Indica anche che se$\gamma = \sin^2(\theta)$, allora il Jeffreys precedente a$\theta$è uniforme nell'intervallo$\left[0, \frac{\pi}{2}\right]$.

Riconosco la trasformazione come quella di una trasformazione stabilizzante la varianza. Ciò che mi confonde è:

1. Perché una trasformazione stabilizzante la varianza si tradurrebbe in un precedente uniforme?

2. Perché dovremmo persino desiderare un'uniforme prima? (poiché sembra che possa essere più suscettibile di essere improprio)

In generale, non sono del tutto sicuro del motivo per cui viene data la trasformazione seno-quadrato e quale ruolo gioca. Qualcuno avrebbe qualche idea?

Il priore di Jeffreys è invariante sotto riparametrizzazione. Per questo motivo, molti bayesiani lo considerano un "priore non informativo". (Hartigan ha mostrato che esiste un intero spazio di tali priori per α + β = 1 in cui J è il priore di Jeffreys e H è il priore invariante asintoticamente locale di Hartigan. - Distribuzioni precedenti invarianti ) $J^\alpha H^\beta$$\alpha + \beta=1$$J$$H$

È una falsità spesso ripetuta che il precedente uniforme non è informativo, ma dopo una trasformazione arbitraria dei tuoi parametri, e un precedente uniforme sui nuovi parametri significa qualcosa di completamente diverso. Se un cambiamento arbitrario di parametrizzazione influisce sul tuo precedente, il tuo precedente è chiaramente informativo.

1. L'uso di Jeffreys equivale , per definizione , all'utilizzo di un flat precedente dopo l'applicazione della trasformazione di stabilizzazione della varianza.

2. Da un punto di vista matematico, usare il precedente di Jeffreys e usare un precedente piatto dopo aver applicato la trasformazione di stabilizzazione della varianza sono equivalenti. Da un punto di vista umano, quest'ultimo è probabilmente più bello perché lo spazio dei parametri diventa "omogeneo", nel senso che le differenze sono tutte uguali in ogni direzione, indipendentemente da dove ti trovi nello spazio dei parametri.

Considera il tuo esempio di Bernoulli. Non è un po 'strano che il punteggio del 99% in un test sia la stessa distanza dal 90% al 59% al 50%? Dopo la trasformazione stabilizzante la varianza, la coppia precedente è più separata, come dovrebbe essere. Corrisponde alla nostra intuizione sulle distanze effettive nello spazio. (Matematicamente, la trasformazione stabilizzante la varianza sta rendendo la curvatura della perdita del tronco uguale alla matrice dell'identità.)

La pagina di Wikipedia che hai fornito in realtà non usa il termine "trasformazione stabilizzante la varianza". Il termine "trasformazione stabilizzante la varianza" viene generalmente utilizzato per indicare trasformazioni che rendono costante la varianza della variabile casuale. Sebbene nel caso di Bernoulli, questo è ciò che sta accadendo con la trasformazione, non è esattamente quello che l'obiettivo è. L'obiettivo è ottenere una distribuzione uniforme e non solo una varianza che stabilizzi.

Ricordiamo che uno degli scopi principali dell'utilizzo di Jeffreys in precedenza è che è invariante in fase di trasformazione. Ciò significa che se si parametrizza nuovamente la variabile, il precedente non cambierà.

1.

$(1/2, 1/2)$

$$p_{\gamma}(\gamma) \propto \dfrac{1}{\sqrt{\gamma(1-\gamma)}}.$$

$\gamma = \sin^2(\theta)$$\theta$$\theta = \arcsin(\sqrt{\gamma})$$0 < \gamma < 1$$0 < \theta < \pi/2$$\sin^2(x) + \cos^2(x) = 1$

$$\begin{align*} F_{\theta}(x) & = P(\theta < x)\\ & = P(\sin^2(\theta) < \sin^2(x))\\ & = P(\gamma < \sin^2(x))\\ & = F_{\gamma}(\sin^2(x))\\ f_{\theta}(x) & = \dfrac{d F_{\gamma}(\sin^2(x)}{d x}\\ & = 2\sin(x)\cos(x)\,p_{\gamma}(\sin^2(x))\\ & \propto \sin(x)\cos(x) \dfrac{1}{\sqrt{\sin^2(x)(1 - \sin^2(x))}}\\ & =1. \end{align*}$$

Thus $\theta$ is the uniform distribution on $(0, \pi/2)$. This is why the $\sin^2(\theta)$ transformation is used, so that the re-parametrization leads to a uniform distribution. The uniform distribution is now the Jeffreys prior on $\theta$ (since Jeffreys prior is invariant under transformation). This answers your first question.

2.

Often in Bayesian analysis one wants a uniform prior when there is not enough information or prior knowledge about the distribution of the parameter. Such a prior is also called a "diffuse prior" or "default prior". The idea is to not commit to any value in the parameter space more than other values. In such a case the posterior is then completely dependent on the data likelihood. Since,

$$q(\theta|x) \propto f(x|\theta) f(\theta) \propto f(x|\theta).$$

If the transformation is such that the transformed space is bounded, (like $(0, \pi/2)$ in this example), then the uniform distribution will be proper. If the transformed space is unbounded, then the uniform prior will be improper, but often the resulting posterior will be proper. Although, one should always verify that this is the case.