Perché la scambiabilità di variabili casuali è essenziale nei modelli gerarchici bayesiani?

Perché la scambiabilità di variabili casuali è essenziale per la modellazione gerarchica bayesiana?

La scambiabilità non è una caratteristica essenziale di un modello gerarchico (almeno non a livello osservazionale). È fondamentalmente un analogo bayesiano di "indipendente e distribuito in modo identico" dalla letteratura standard. È semplicemente un modo per descrivere ciò che sai della situazione a portata di mano. Questo è precisamente che "mescolare" non modifica il tuo problema. Un modo in cui mi piace pensare a questo è considerare il caso in cui ti è stato dato ma non ti è stato detto il valore di . Se apprendendo che ti porterebbe a sospettare valori particolari di più di altri, allora la sequenza non è scambiabile. Se non ti dice nulla suj x j = 5 j $x_{j}=5$$j$$x_{j}=5$$j$$j$, quindi la sequenza è intercambiabile. Nota che l'eseccabilità è "nelle informazioni" piuttosto che "nella realtà" - dipende da ciò che sai.

Mentre la scambiabilità non è essenziale in termini di variabili osservate, probabilmente sarebbe abbastanza difficile adattarsi a qualsiasi modello senza una nozione di scambiabilità, perché senza scambiabilità non si ha praticamente alcuna giustificazione per mettere insieme le osservazioni. Quindi la mia ipotesi è che le tue inferenze saranno molto più deboli se non hai scambiabilità da qualche parte nel modello. Ad esempio, si consideri per . Se sono completamente intercambiabili, significa che e . Se è scambiabile in modo condizionato, dato significa chei = 1 , … , N x i μ i = μ σ i = σ x i μ i σ i = σ x i σ i μ i = μ N $x_{i}\sim N(\mu_{i},\sigma_{i})$$i=1,\dots,N$$x_{i}$$\mu_{i}=\mu$$\sigma_{i}=\sigma$$x_{i}$$\mu_{i}$$\sigma_{i}=\sigma$. Se è scambiabile in modo condizionato, dato significa che . Ma si noti che in uno di questi due casi "scambiabili condizionalmente", la qualità dell'inferenza è ridotta rispetto alla prima, perché ci sono altri parametri che vengono introdotti nel problema. Se non abbiamo scambiabilità, in pratica abbiamo problemi non correlati.$x_{i}$$\sigma_{i}$$\mu_{i}=\mu$$N$$N$

Fondamentalmente mezzi scambiabilità possiamo fare l'inferenza per ogni e che sono parzialmente intercambiabili i $x_{i}\to \text{parameters}\to x_{j}$$i$$j$

"Essential" è troppo vago. Ma sorprendo i tecnicismi, se la sequenza è scambiabile, allora sono condizionatamente indipendenti dati alcuni parametri non osservati con una distribuzione di probabilità . Cioè, . non ha bisogno di essere univariato o addirittura di dimensione finita e può essere ulteriormente rappresentato come una miscela, ecc.$X=\{X_i\}$$X_i$$\Theta$$\pi$$p(X) = \int p(X_i|\Theta)d\pi(\Theta)$$\Theta$

La scambiabilità è essenziale nel senso che queste relazioni di indipendenza condizionale ci consentono di adattarci a modelli che quasi sicuramente non potremmo altrimenti.

Non lo è! Non sono un esperto qui, ma darò i miei due centesimi. In generale, quando si ha un modello gerarchico, diciamo

$y|\Theta_{1} \sim \text{N}(X\Theta_{1},\sigma^2)$

$\Theta_{1}|\Theta_{2} \sim\text{N}(W\Theta_{2},\sigma^2)$

$\Theta_{2}$$\Theta_{1}$

Ultimo, ma non meno importante, la scambiabilità è importante solo se si desidera pensare in termini di teorema della rappresentazione di De Finetti. Potresti semplicemente pensare che i priori siano strumenti di regolarizzazione che ti aiutano ad adattare il tuo modello. In questo caso, il presupposto della scambiabilità è buono quanto il tuo modello è adatto ai dati. In altre parole, se si considera il modello gerarchico bayesiano come un modo per adattarsi meglio ai propri dati, la scambiabilità non è essenziale in alcun senso.