Un precedente vago è lo stesso di un precedente non informativo?

Questa è una domanda sulla terminologia. Un "vago priore" è lo stesso di un priore non informativo o c'è qualche differenza tra i due? La mia impressione è che siano uguali (guardando insieme vaghi e non informativi), ma non posso esserne certo.

Gelman et al. (2003) dicono:

c'è stato a lungo il desiderio di distribuzioni precedenti che possono essere garantite per svolgere un ruolo minimo nella distribuzione posteriore. Tali distribuzioni sono talvolta chiamate "distribuzioni precedenti di riferimento" e la densità precedente è descritta come vaga, piatta o non informativa . [Enfasi del testo originale]

Basato sulla mia lettura della discussione sul priore di Jeffreys in Gelman et al. (2003, p.62 segg., Non vi è consenso sull'esistenza di un priore veramente non informativo e che sono sufficienti priori sufficientemente vaghi / piatti / diffusi.

Alcuni dei punti che sottolineano:

1. Ogni precedente include informazioni, compresi i priori che dichiarano che nessuna informazione è nota.
   • Ad esempio, se sappiamo di non sapere nulla del parametro in questione, allora ne sappiamo qualcosa.
2. Nella maggior parte dei contesti applicati, non esiste un chiaro vantaggio per un priore veramente non informativo quando sono sufficienti priori sufficientemente vaghi, e in molti casi ci sono vantaggi - come trovare un priore adeguato - usare una vaga parametrizzazione di un priore coniugato.
3. Il principio di Jeffreys può essere utile per costruire priori che minimizzino il contenuto informativo di Fisher in modelli univariati, ma non esiste un analogo per il caso multivariato
4. Quando si confrontano i modelli, il precedente di Jeffreys varierà con la distribuzione della probabilità, quindi anche i priori dovrebbero cambiare
5. si è generalmente discusso molto sul fatto che esista un precedente non informativo (a causa di 1, ma si veda anche la discussione e i riferimenti a p.66 in Gelman et al. per la storia di questo dibattito).

nota che questo è wiki della comunità - La teoria di base è ai limiti della mia comprensione e apprezzerei i contributi a questa risposta.

Gelman et al. 2003 Bayesian Data Analysis, Chapman and Hall / CRC

Sicuramente no, anche se sono frequentemente usati in modo intercambiabile. Un precedente vago (relativamente non informato, che non favorisce realmente alcuni valori rispetto ad altri) su un parametro può effettivamente indurre un precedente molto informativo su qualche altra trasformazione . Questa è almeno una parte della motivazione del precedente di Jeffreys, che inizialmente era stata costruita per essere il più informativa possibile.f ( θ $\theta$$f(\theta)$

I vaghi priori possono anche fare cose piuttosto misere per il tuo modello. L'esempio ormai classico sta usando come priori su componenti di varianza in un modello gerarchico.ϵ → $\mathrm{InverseGamma}(\epsilon, \epsilon)$$\epsilon\rightarrow 0$

Il precedente limite improprio dà un posteriore improprio in questo caso. Un'alternativa popolare era prendere come veramente piccolo, il che si traduce in un precedente che sembra quasi uniforme su . Ma si traduce anche in un posteriore quasi improprio, con adattamento del modello e inferenze. Vedi le distribuzioni precedenti di Gelman per i parametri di varianza nei modelli gerarchici per un'esposizione completa.R$\epsilon$$\mathbb{R}^+$

Modifica: @csgillespie (giustamente!) Sottolinea che non ho risposto completamente alla tua domanda. A mio avviso, un precedente non informativo è vago nel senso che non favorisce particolarmente un'area dello spazio dei parametri rispetto a un'altra, ma nel fare ciò non dovrebbe indurre priori informativi su altri parametri. Quindi un precedente non informativo è vago ma un precedente vago non è necessariamente non informativo. Un esempio in cui questo entra in gioco è la selezione delle variabili bayesiane; un "vago" precedente sulle probabilità di inclusione variabile può effettivamente indurre un precedente piuttosto informativo sul numero totale di variabili incluse nel modello!

Mi sembra che la ricerca di priori veramente non informativi sia donchisciottesca (sebbene molti non sarebbero d'accordo); meglio usare i cosiddetti priori informativi "debolmente" (che, suppongo, sono generalmente vaghi in un certo senso). Davvero, quanto spesso non sappiamo nulla del parametro in questione?

Lambert et al (2005) sollevano la domanda "How Vague is Vague? Uno studio di simulazione dell'impatto dell'uso di vaghe precedenti distribuzioni in MCMC usando WinBUGS ". Scrivono: "Non sosteniamo l'uso del termine distribuzione non informativa preventiva poiché consideriamo tutti i priori di fornire alcune informazioni". Tendo ad essere d'accordo, ma non sono assolutamente un esperto di statistiche bayesiane.

Ho il sospetto che "precedente vago" sia usato per indicare un precedente noto per codificare alcune piccole, ma non zero, conoscenza del valore reale di un parametro, mentre un "precedente non informativo" sarebbe usato per significare completa ignoranza per quanto riguarda il valore di quel parametro. Sarebbe forse usato per dimostrare che l'analisi non era completamente obiettiva.

Ad esempio un gaussiano molto ampio potrebbe essere un vago priore per un parametro in cui un priore non informativo sarebbe uniforme. Il gaussiano sarebbe quasi piatto sulla scala di interesse, ma favorirebbe comunque un valore particolare un po 'più di qualsiasi altro (ma potrebbe rendere il problema più matematicamente trattabile).

I priori non informativi hanno forme diverse. Queste forme includono vaghi priori e priori impropri. Quindi un vago priore fa parte di priori non informativi.