Diagnostica residua nei modelli di regressione basati su MCMC


21

Di recente ho intrapreso il montaggio di modelli misti di regressione nel framework bayesiano, utilizzando un algoritmo MCMC (funzione MCMCglmm in R in realtà).

Credo di aver capito come diagnosticare la convergenza del processo di stima (traccia, grafico geweke, autocorrelazione, distribuzione posteriore ...).

Una delle cose che mi colpisce nel quadro bayesiano è che molti sforzi sembrano essere dedicati a fare quei test diagnostici, mentre sembra che si faccia molto poco in termini di controllo dei residui del modello montato. Ad esempio in MCMCglmm la funzione residual.mcmc () esiste ma in realtà non è ancora implementata (es. Restituisce: "residui non ancora implementati per gli oggetti MCMCglmm"; stessa storia per predict.mcmc ()). Sembra che manchi anche di altri pacchetti, e più in generale è poco discusso nella letteratura che ho trovato (a parte DIC che è anche discusso abbastanza pesantemente).

Qualcuno potrebbe indicarmi alcuni riferimenti utili e idealmente il codice R con cui potrei giocare o modificare?

Grazie molto.


Ottima domanda Mi piace molto di Andrew Gelman carta con Cosma Shalizi su model checking bayesiano.
David J. Harris,

Risposte:


7

Penso che l'uso del termine residuo non sia coerente con la regressione bayesiana. Ricorda, nei modelli di probabilità frequentista, sono i parametri che sono considerati quantità stimabili fisse e il meccanismo di generazione dei dati ha alcuni modelli di probabilità casuali associati ai dati osservati. Per i bayesiani, i parametri dei modelli di probabilità sono considerati variabili e i dati fissi aggiornano la nostra convinzione su quali siano questi parametri. Pertanto, se si stava calcolando la varianza dei valori adattati meno osservati in un modello di regressione, l' osservatoil componente avrebbe una varianza 0 mentre il componente montato varierebbe in funzione della densità di probabilità posteriore per i parametri del modello. Questo è l'opposto di ciò che deriveresti dal modello di regressione frequentista. Penso che se si fosse interessati a verificare le ipotesi probabilistiche del loro modello di regressione bayesiana, un semplice QQplot della densità posteriore delle stime dei parametri (stimato dal nostro campionamento MCMC) rispetto a una distribuzione normale avrebbe un potere diagnostico analogo all'analisi dei residui (o dei residui di Pearson per funzioni di collegamento non lineari).


1
Questa è una buona risposta Potrebbero esserci ancora risposte che danno utili costrutti bayesiani calcolati dal residuo osservato meno adattato, ma questo certamente non avrebbe dovuto essere sottoposto a downgrade.
ely,

3
Inoltre, potrebbe valere la pena chiarire che nell'impostazione bayesiana non si hanno realmente valori "adattati". È possibile calcolare la media posteriore per un dato input osservato, per ottenere la massima stima a posteriori del valore atteso della variabile target su quell'input. Ma questo ridurrebbe tutto a punti stimati, cosa che di solito non è desiderata se stai facendo l'inferenza bayesiana.
ely,

2
@EMS uno qualsiasi di questi sono residui significativi. Solo perché uno è bayesiano non significa che non si possa verificare se i presupposti si riflettono nei dati.
Glen_b -Restate Monica

1
Per l'inferenza probabilistica esatta (ipotesi di normalità in atto) in ambito frequentista, i "residui" sarebbero, nelle repliche dell'esperimento di studio, essere condizionatamente indipendenti dal "valore adattato" (o media condizionata). Nel mondo di Bayes, i dati non sono casuali, quindi cosa sarebbe condizionatamente indipendente da cosa?
AdamO,

1
La regressione nelle procedure bayesiane ed esatte per il frequentista è un modo per stimare la media condizionale , generalmente descritta da una serie di parametri del modello. Sto usando la media condizionale per fare riferimento ai valori adattati. In statistica frequentista v'è un concetto di esperimenti ripetuti, anche se immaginiamo delle dimensioni e della distribuzione di campione come essendo fissata mentre è casuale e oggetto di repliche attraverso la sperimentazione ripetuta. Questa è l'interpretazione frequente della probabilità. Ecco perché i residui hanno proprietà di variabili casuali, in particolare una funzione di densità. X YE[Y|X]XY
AdamO,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.