Perché utilizzare una distribuzione beta sul parametro Bernoulli per la regressione logistica gerarchica?

Attualmente sto leggendo l'eccellente libro "Doing Bayesian Data Analysis" di Kruschke. Tuttavia, il capitolo sulla regressione logistica gerarchica (capitolo 20) è alquanto confuso.

La Figura 20.2 descrive una regressione logistica gerarchica in cui il parametro di Bernoulli è definito come una funzione lineare sui coefficienti trasformati attraverso una funzione sigmoide. Questo sembra essere il modo in cui la regressione logistica gerarchica è posta nella maggior parte degli esempi che ho visto anche in altre fonti online. Ad esempio: http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

Tuttavia, quando i predittori sono nominali, aggiunge uno strato nella gerarchia: il parametro di Bernoulli è ora tratto da una distribuzione beta (Figura 20.5) con parametri determinati da mu e kappa, dove mu è la trasformazione sigmoide della funzione lineare dei coefficienti e kappa usa un gamma gamma precedente.

Questo sembra ragionevole e analogo all'esempio del lancio delle monete del capitolo 9, ma non vedo cosa abbia a che fare con i predittori nominali con l'aggiunta di una distribuzione beta. Perché non farlo nel caso dei predittori metrici e perché è stata aggiunta la distribuzione beta per i predittori nominali?

EDIT: chiarimenti sui modelli a cui mi riferisco. Innanzitutto, un modello di regressione logistica con predittori metrici (nessun beta precedente). Questo è simile ad altri esempi di regressione logistica gerarchica, come l'esempio di bug sopra riportato:

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

Quindi l'esempio con predittori nominali. Ecco dove non capisco bene il ruolo del livello "inferiore" della gerarchia (che incorpora il risultato logistico in un beta precedente per un binomio) e perché dovrebbe essere diverso dall'esempio metrico.

z_{i} \sim Bin (θ_{i}, N) θ_{i} \sim Beta (a_{j}, b_{j}) a_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ \sim Γ (S_{κ}, R_{κ}) μ_{j} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} \sim folded t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

— user4733
fonte

Risposte:

I due modelli confrontati hanno molte funzioni estranee e penso che tu possa riaffermare la tua domanda più chiaramente nel contesto dei seguenti due modelli semplificati:

Modello 1:

\begin{aligned} y_{i} | μ_{i} & \sim Bern (μ_{i}) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

Modello 2:

\begin{aligned} y_{i} | θ_{i} & \sim Bern (θ_{i}) \\ θ_{i} | μ_{i}, κ & \sim Beta (μ_{i} κ, (1 - μ_{i}) κ) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

Le tue domande sono: (1) quale ruolo ha la distribuzione beta; e relativi, (2) in che modo (se del tutto) il Modello 2 è diverso dal Modello 1?

In apparenza questi sembrano modelli piuttosto diversi, ma in effetti le distribuzioni marginali di in entrambi i modelli sono identiche. La distribuzione posteriore di nel Modello 1 è considerando che la distribuzione posteriore marginale di nel Modello 2 è: $\mu_i$ $\mu_i$

\begin{matrix} p (μ_{i} | y_{i}) \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$

μ_{i}

$\mu_i$

\begin{aligned} p (μ_{i} | y_{i}, κ) & \propto \int_{0}^{1} \frac{θ_{i}^{y_{i} + μ_{i} κ - 1} (1 - θ_{i})^{κ (1 - μ_{i}) - y_{i}}}{B (κ μ_{i}, κ (1 - μ_{i}))} d θ π (μ_{i}) \\ \propto \frac{B (y_{i} + μ_{i} κ, 1 - y_{i} + κ (1 - μ_{i})) π (μ_{i})}{B (κ μ_{i}, κ (1 - μ_{i}))} \\ \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

Pertanto, qualsiasi vantaggio ottenuto dall'uso del modello 2 è computazionale. I modelli gerarchici iperparametrici, come l'aggiunta di nel modello 2, possono talvolta migliorare l'efficienza della procedura di campionamento; ad esempio, introducendo relazioni coniugate condizionatamente tra gruppi di parametri (vedi la risposta di Jack Tanner) o interrompendo la correlazione tra i parametri di interesse (google "Espansione dei parametri"). $\theta_i$

— jmtroos
fonte

La ragione per trarre il parametro di Bernoulli da una distribuzione beta è che la beta è coniugata al binomio. L'uso di una distribuzione preventiva coniugata consente a una soluzione in forma chiusa di trovare il posteriore.

EDIT: chiarimento. Entrambi i modelli funzioneranno. Anche con MCMC, è utile avere priori coniugati perché ciò consente l'uso di campionatori specializzati per vari tipi di distribuzioni che sono più efficienti dei campionatori generici. Ad esempio, consultare il manuale dell'utente JAGS sec. 4.1.1 e sec 4.2.

— Jack Tanner
fonte

Potrebbe non esserci abbastanza contesto dal libro nella mia domanda, ma queste analisi vengono eseguite con il campionamento di Gibbs, quindi non è necessaria una rappresentazione in forma chiusa del posteriore. Nell'esempio che ho collegato, il parametro bernoulli non è fisso come una distribuzione beta, ma deriva da una trasformazione sigmoidea dei predittori lineari, che hanno normalmente coefficienti distribuiti. Questo è anche il modo in cui Kruschke presenta un esempio precedente (con predittori metrici) nel capitolo (il parametro bernoulli è solo la trasformazione sigmoidea della funzione lineare con coefficienti normalmente distribuiti)

— user4733

@ user4733 Jack Tanner ha ragione sul fatto che beta sia il coniugato prima dei campioni di bernoulli. sembra più che una coincidenza che sia stato scelto. Sì, potresti fare un campionamento di Gibbs per ottenere la distribuzione posteriore, ma in un modello gerarchico è coinvolto più di un precedente e potrebbe essere che stai mettendo un precedente su un iperparametro (un parametro per una famiglia di distribuzioni precedenti. se lo farai prima il precedente. In quel contesto potrebbe essere conveniente usare un precedente coniugato. Alcune delle tue descrizioni del libro ci confondono.

— Michael R. Chernick,

Stai prendendo piccoli estratti che creano lacune nella nostra capacità di capire cosa sta succedendo. Devi descrivere meglio il modello e la gerarchia dei priori affinché possiamo aiutarci (almeno per me)>

— Michael R. Chernick,

Aggiunte alcune descrizioni ai modelli gerarchici a cui mi riferisco. Speriamo che aiuti.

— user4733