Esempio per un precedente, che a differenza di Jeffreys, porta a un posteriore che non è invariante

Sto ripubblicando una "risposta" a una domanda che avevo posto due settimane fa qui: Perché è utile il Jeffreys? Era davvero una domanda (e non avevo nemmeno il diritto di pubblicare commenti in quel momento), quindi spero sia giusto farlo:

Nel link sopra si discute che l'interessante caratteristica di Jeffreys precedenti è che, quando si ri-parametrizza il modello, la distribuzione posteriore risultante dà probabilità posteriori che obbediscono alle restrizioni imposte dalla trasformazione. Diciamo, come discusso qui, quando si passa dalla probabilità di successo nell'esempio Beta-Bernoulli a probabilità , dovrebbe essere il caso che il posteriore soddisfi .$\theta$$\psi=\theta/(1-\theta)$$P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x)$

Volevo creare un esempio numerico di invarianza di Jeffreys prima di trasformare in odds e, cosa più interessante, la loro mancanza di altri priori (diciamo, Haldane, uniformi o arbitrari).$\theta$$\psi$

Ora, se il posteriore per la probabilità di successo è Beta (per qualsiasi precedente Beta, non solo Jeffreys), il posteriore delle probabilità segue una distribuzione Beta del secondo tipo (vedi Wikipedia) con gli stessi parametri . Quindi, come evidenziato nell'esempio numerico sotto, non è troppo sorprendente (almeno per me) che vi sia invarianza per qualsiasi scelta del precedente Beta (giocare con alpha0_Ue beta0_U), non solo Jeffreys, cfr. l'output del programma.

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

Questo mi porta alle seguenti domande:

1. Faccio un errore?
2. In caso negativo, esiste un risultato come l'assenza di invarianza nelle famiglie coniugate o qualcosa del genere? (L'ispezione rapida mi porta a sospettare che, ad esempio, non potrei produrre mancanza di invarianza nel caso normale-normale.)
3. Sai una (preferibilmente semplice) esempio in cui ci facciamo trovare la mancanza di invarianza?

$p(\theta)$

1. $p_{\theta \mid D}(\theta \mid D)$
2. $p_{\psi \mid D}(\psi \mid D)$

e

1. $p_\theta(\theta)$$p_\psi(\psi)$
2. $p_\psi(\psi)$$p_{\psi \mid D}(\psi \mid D)$

$\psi$$\psi$$\theta$

Tuttavia, questo non è il punto dell'invarianza in questione. Invece, la domanda è se, quando abbiamo un metodo particolare per decidere il priore, le due seguenti procedure:

1. $p_\theta(\theta)$
2. $p_\psi(\psi)$

e

1. $p_\psi(\psi)$

$\psi$

$\theta$$[0,1]$$\psi$$[0,\infty)$

$\theta$$\psi$$\psi$

Sembra che tu stia verificando che le probabilità indotte dai dati non sono influenzate dalla parametrizzazione, che non ha nulla a che fare con il precedente.

Se il tuo modo di scegliere i priori è, ad esempio, "scegliere l'uniforme precedente", allora ciò che è uniforme sotto una parametrizzazione (diciamo Beta, ovvero Beta (1,1)) non è uniforme sotto un'altra, diciamo BetaPrime (1,1 ) (che è distorto) - BetaPrime (1, -1) è uniforme se esiste una cosa del genere.

Il priore di Jeffreys è l'unico "modo di scegliere i priori" che è invariante sotto la riparametrizzazione. Quindi è meno ipotetico di qualsiasi altro modo di scegliere i priori.