Sto ripubblicando una "risposta" a una domanda che avevo posto due settimane fa qui: Perché è utile il Jeffreys? Era davvero una domanda (e non avevo nemmeno il diritto di pubblicare commenti in quel momento), quindi spero sia giusto farlo:
Nel link sopra si discute che l'interessante caratteristica di Jeffreys precedenti è che, quando si ri-parametrizza il modello, la distribuzione posteriore risultante dà probabilità posteriori che obbediscono alle restrizioni imposte dalla trasformazione. Diciamo, come discusso qui, quando si passa dalla probabilità di successo nell'esempio Beta-Bernoulli a probabilità , dovrebbe essere il caso che il posteriore soddisfi .
Volevo creare un esempio numerico di invarianza di Jeffreys prima di trasformare in odds e, cosa più interessante, la loro mancanza di altri priori (diciamo, Haldane, uniformi o arbitrari).
Ora, se il posteriore per la probabilità di successo è Beta (per qualsiasi precedente Beta, non solo Jeffreys), il posteriore delle probabilità segue una distribuzione Beta del secondo tipo (vedi Wikipedia) con gli stessi parametri . Quindi, come evidenziato nell'esempio numerico sotto, non è troppo sorprendente (almeno per me) che vi sia invarianza per qualsiasi scelta del precedente Beta (giocare con alpha0_U
e beta0_U
), non solo Jeffreys, cfr. l'output del programma.
library(GB2)
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)
theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3
odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)
n = 10 # some data
k = 4
alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k
alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k
# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J)
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J)
# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)
Questo mi porta alle seguenti domande:
- Faccio un errore?
- In caso negativo, esiste un risultato come l'assenza di invarianza nelle famiglie coniugate o qualcosa del genere? (L'ispezione rapida mi porta a sospettare che, ad esempio, non potrei produrre mancanza di invarianza nel caso normale-normale.)
- Sai una (preferibilmente semplice) esempio in cui ci facciamo trovare la mancanza di invarianza?