Qual è l'equivalente bayesiano di un test generale di adattamento?

Ho due set di dati, uno da un insieme di osservazioni fisiche (temperature) e uno da un insieme di modelli numerici. Sto facendo un'analisi del modello perfetto, supponendo che l'ensemble modello rappresenti un campione vero e indipendente e sto verificando se le osservazioni sono tratte da quella distribuzione. La statistica che ho calcolato è normalizzata e dovrebbe teoricamente essere una distribuzione normale standard. Naturalmente non è perfetto, quindi voglio testare la bontà di adattamento.

Usando il ragionamento frequentista, ho potuto calcolare una statistica di Cramér-von Mises (o Kolmogorov-Smirnov, ecc.), O simile, e cercare il valore in una tabella per ottenere un valore p, per aiutarmi a decidere quanto improbabile sia il valore I vedi è, dato che le osservazioni sono le stesse del modello.

Quale sarebbe l'equivalente bayesiano di questo processo? Cioè, come posso quantificare la forza della mia convinzione che queste due distribuzioni (la mia statistica calcolata e la normale standard) sono diverse?

Vorrei suggerire il libro Bayesian Data Analysis come un'ottima fonte per rispondere a questa domanda (in particolare il capitolo 6) e tutto ciò che sto per dire. Ma uno dei soliti modi in cui i bayesiani attaccano questo problema è usando i valori P predittivi posteriori (PPP). Prima di passare a come i PPP avrebbero risolto questo problema, vorrei prima definire la seguente notazione:

Sia i dati osservati e sia il vettore dei parametri. Definiamo come i replicati dati che avrebbero potuto stati osservati, o, a pensare in modo predittivo, in quanto i dati che avrebbero vedere domani se l'esperimento che ha prodotto oggi sono stati replicati con lo stesso modello e lo stesso valore di che ha prodotto i dati osservati.θ y rep y $y$$\theta$$y^{\text{rep}}$$y$$\theta$

Nota, definiremo la distribuzione di dato lo stato attuale delle conoscenze con la distribuzione predittiva posteriore p ( y rep | y ) = ∫ Θ p ( y rep | θ ) p ( θ | y ) d $y^{\text{rep}}$

$$p(y^{\text{rep}}|y)=\int_\Theta p(y^{\text{rep}}|\theta)p(\theta|y)d\theta$$

Ora, possiamo misurare la discrepanza tra il modello e i dati definendo le quantità di prova , gli aspetti dei dati che desideriamo verificare. Una quantità di prova, o misura di discrepanza , , è un riepilogo scalare di parametri e dati che viene utilizzato come standard quando si confrontano i dati con simulazioni predittive. Le quantità di test svolgono il ruolo nel modello bayesiano verificando che le statistiche di test svolgano nei test classici. Definiamo la notazione per una statistica di test, che è una quantità di test che dipende solo dai dati; nel contesto bayesiano, possiamo generalizzare le statistiche dei test per consentire la dipendenza dai parametri del modello nella loro distribuzione posteriore.T ( y $T(y,\theta)$$T(y)$

Classicamente, il valore p per la statistica test è dove viene presa la probabilità sulla distribuzione di con riparato.p C = Pr ( T ( y rep ) ≥ T ( y ) | θ ) y rep$T(y)$

$$p_C=\text{Pr}(T(y^{\text{rep}})\geq T(y)|\theta)$$ $y^{\text{rep}}$$\theta$

Dal punto di vista bayesiano, la mancanza di adattamento dei dati rispetto alla distribuzione predittiva posteriore può essere misurata dalla probabilità dell'area della coda, o valore p, della quantità di prova e calcolata usando simulazioni posteriori di . Nell'approccio bayesiano, le quantità di prova possono essere funzioni di parametri sconosciuti, nonché dati poiché la quantità di prova viene valutata in base ai prelievi dalla distribuzione posteriore dei parametri sconosciuti.$(\theta,y^{\text{rep}})$

Ora, possiamo definire il valore p bayesiano (PPP) come la probabilità che i dati replicati possano essere più estremi dei dati osservati, misurati dalla quantità del test: dove la probabilità è presa sulla distribuzione posteriore di e sulla distribuzione predittiva posteriore di (che è, la distribuzione congiunta, ): dove è la funzione indicatore. In pratica, tuttavia, di solito calcoliamo la distribuzione predittiva posteriore usando simulazioni.

$$p_B=\text{Pr}(T(y^{\text{rep}},\theta)\geq T(y,\theta)|y)$$ $\theta$$y^{\text{rep}}$$p(\theta,y^{\text{rep}}|y)$ $$p_B=\iint_\Theta I_{T(y^{\text{rep}},\theta)\geq T(y|\theta)}p(y^{\text{rep}}|\theta)p(\theta|y)dy^{\text{rep}}d\theta,$$ $I$

Se abbiamo già, diciamo, simulazioni dalla distribuzione posteriore di , allora possiamo semplicemente trarre uno dalla distribuzione predittiva per ogni simulato ; ora abbiamo attira dalla distribuzione posteriore unita, . Il controllo predittivo posteriore è il confronto tra le quantità di test realizzate e le quantità di test predittivo . Il valore p stimato è solo la proporzione di queste simulazioni per le quali la quantità di prova è uguale o superiore al suo valore realizzato; cioè per qualeθ y rep θ L p ( y rep , θ | y ) T ( y , θ l ) T ( y rep l , θ l ) L T ( y rep l , θ l ) ≥ T ( y , θ l ) l = 1 , . . . , $L$$\theta$$y^{\text{rep}}$$\theta$$L$$p(y^{\text{rep}},\theta|y)$$T(y,\theta^l)$$T(y^{\text{rep}l},\theta^l)$$L$

$$T(y^{\text{rep}l},\theta^l)\geq T(y,\theta^l)$$ per . $l=1,...,L$

Contrariamente all'approccio classico, il controllo del modello bayesiano non richiede metodi speciali per gestire i "parametri fastidiosi". Usando le simulazioni posteriori, calcoliamo implicitamente la media di tutti i parametri nel modello.

Un'ulteriore fonte, Andrew Gelman ha anche un bellissimo documento sui PPP qui: http://www.stat.columbia.edu/~gelman/research/unpublished/ppc_understand2.pdf

Una possibilità relativamente semplice: test regolari di bontà di adattamento, ad esempio [1] - che inquadrano l'alternativa in termini di deviazioni regolari dal nulla, costruite da polinomi ortogonali (rispetto alla densità nulla come funzione peso) sarebbero relativamente semplici da riporto in un quadro bayesiano, poiché i coefficienti dei polinomi formano un'estensione flessibile ma parametrica del nulla.

[1]: Rayner, JCW e DJ Best (1990),
"Smooth Test of Goodness of Fit: An Overview",
International Statistical Review , 58 : 1 (Apr), pp. 9-17