Un precedente vago è lo stesso di un precedente non informativo?


27

Questa è una domanda sulla terminologia. Un "vago priore" è lo stesso di un priore non informativo o c'è qualche differenza tra i due? La mia impressione è che siano uguali (guardando insieme vaghi e non informativi), ma non posso esserne certo.


1
Vagamente: Sì. In modo non informativo: No.
Cardinale

Risposte:


18

Gelman et al. (2003) dicono:

c'è stato a lungo il desiderio di distribuzioni precedenti che possono essere garantite per svolgere un ruolo minimo nella distribuzione posteriore. Tali distribuzioni sono talvolta chiamate "distribuzioni precedenti di riferimento" e la densità precedente è descritta come vaga, piatta o non informativa . [Enfasi del testo originale]

Basato sulla mia lettura della discussione sul priore di Jeffreys in Gelman et al. (2003, p.62 segg., Non vi è consenso sull'esistenza di un priore veramente non informativo e che sono sufficienti priori sufficientemente vaghi / piatti / diffusi.

Alcuni dei punti che sottolineano:

  1. Ogni precedente include informazioni, compresi i priori che dichiarano che nessuna informazione è nota.
    • Ad esempio, se sappiamo di non sapere nulla del parametro in questione, allora ne sappiamo qualcosa.
  2. Nella maggior parte dei contesti applicati, non esiste un chiaro vantaggio per un priore veramente non informativo quando sono sufficienti priori sufficientemente vaghi, e in molti casi ci sono vantaggi - come trovare un priore adeguato - usare una vaga parametrizzazione di un priore coniugato.
  3. Il principio di Jeffreys può essere utile per costruire priori che minimizzino il contenuto informativo di Fisher in modelli univariati, ma non esiste un analogo per il caso multivariato
  4. Quando si confrontano i modelli, il precedente di Jeffreys varierà con la distribuzione della probabilità, quindi anche i priori dovrebbero cambiare
  5. si è generalmente discusso molto sul fatto che esista un precedente non informativo (a causa di 1, ma si veda anche la discussione e i riferimenti a p.66 in Gelman et al. per la storia di questo dibattito).

nota che questo è wiki della comunità - La teoria di base è ai limiti della mia comprensione e apprezzerei i contributi a questa risposta.

Gelman et al. 2003 Bayesian Data Analysis, Chapman and Hall / CRC


1
Lo stesso Gelman si è spostato oltre i priori "non informativi", vedi ad esempio stat.columbia.edu/~cook/movabletype/archives/2007/07/… e il documento a cui faccio riferimento nella mia risposta, e altre sue opere. Questo atteggiamento sembra sempre più diffuso tra gli statistici applicati.
JMS,

@JMS Gelman et. al. Il 2003 ha sottolineato questo punto, e ho cercato di sintetizzarlo, sembrano considerare i priori non informativi per scopi di base / teorici / euristici
David LeBauer,

Sì, un libro di testo sulle statistiche bayesiane non può certo ignorarli. Volevo solo aggiungere che la tendenza delle statistiche applicate da allora è stata quella di allontanarsi da queste scelte tradizionali, anche se i lavori continuano su "obiettivi Bayes"
JMS,

Penso che le persone tendano a usare le informazioni in due modi quando descrivono i priori, in senso informale e in senso teorico dell'informazione. In questo modo potresti sfruttare un'entropia massima prima che contenga il minor numero possibile di informazioni, in senso teorico dell'informazione. Usando questa distribuzione potresti (potresti) segnalare che "non sai nulla del parametro", questo potrebbe essere abbastanza informativo in un senso più informale ...
Rasmus Bååth

9

Sicuramente no, anche se sono frequentemente usati in modo intercambiabile. Un precedente vago (relativamente non informato, che non favorisce realmente alcuni valori rispetto ad altri) su un parametro può effettivamente indurre un precedente molto informativo su qualche altra trasformazione . Questa è almeno una parte della motivazione del precedente di Jeffreys, che inizialmente era stata costruita per essere il più informativa possibile.f ( θ )θf(θ)

I vaghi priori possono anche fare cose piuttosto misere per il tuo modello. L'esempio ormai classico sta usando come priori su componenti di varianza in un modello gerarchico.ϵ 0InverseGamma(ϵ,ϵ)ϵ0

Il precedente limite improprio dà un posteriore improprio in questo caso. Un'alternativa popolare era prendere come veramente piccolo, il che si traduce in un precedente che sembra quasi uniforme su . Ma si traduce anche in un posteriore quasi improprio, con adattamento del modello e inferenze. Vedi le distribuzioni precedenti di Gelman per i parametri di varianza nei modelli gerarchici per un'esposizione completa.R +ϵR+

Modifica: @csgillespie (giustamente!) Sottolinea che non ho risposto completamente alla tua domanda. A mio avviso, un precedente non informativo è vago nel senso che non favorisce particolarmente un'area dello spazio dei parametri rispetto a un'altra, ma nel fare ciò non dovrebbe indurre priori informativi su altri parametri. Quindi un precedente non informativo è vago ma un precedente vago non è necessariamente non informativo. Un esempio in cui questo entra in gioco è la selezione delle variabili bayesiane; un "vago" precedente sulle probabilità di inclusione variabile può effettivamente indurre un precedente piuttosto informativo sul numero totale di variabili incluse nel modello!

Mi sembra che la ricerca di priori veramente non informativi sia donchisciottesca (sebbene molti non sarebbero d'accordo); meglio usare i cosiddetti priori informativi "debolmente" (che, suppongo, sono generalmente vaghi in un certo senso). Davvero, quanto spesso non sappiamo nulla del parametro in questione?


La tua risposta è molto bella, ma in realtà non dichiari quale "priore non informativo" e come differisce da un "vago priore";)
csgillespie

@cgillespie: hai ragione, modificato :)
JMS

seguendo il tuo ultimo paragrafo e supportando la natura chiassotica della ricerca: se sappiamo che non sappiamo nulla del parametro in questione, allora ne sappiamo qualcosa .
David LeBauer,

Abbastanza! La grande ironia è che molti di coloro che spendono così tanta energia a strizzare le mani sulla scelta del precedente non ci pensano due volte prima di buttare giù la probabilità. Una probabilità errata è molto più suscettibile di causare problemi, in generale. Ma questa è un'altra domanda del tutto ...
JMS,

5

Lambert et al (2005) sollevano la domanda "How Vague is Vague? Uno studio di simulazione dell'impatto dell'uso di vaghe precedenti distribuzioni in MCMC usando WinBUGS ". Scrivono: "Non sosteniamo l'uso del termine distribuzione non informativa preventiva poiché consideriamo tutti i priori di fornire alcune informazioni". Tendo ad essere d'accordo, ma non sono assolutamente un esperto di statistiche bayesiane.


2
Ciò concorda con la mia precedente convinzione soggettiva che non esiste un priore non informativo.
onestop,

@onestop, per favore, considera di contribuire alla mia risposta in CW
David LeBauer,

Questo è precisamente il problema affrontato nel documento che ho incluso nella mia risposta ( con La documentazione di WinBUGS li ha usati molto tempo dopo che questi priori erano stati screditati.ϵ 0IG(ϵ,ϵ)ϵ0
JMS,

3

Ho il sospetto che "precedente vago" sia usato per indicare un precedente noto per codificare alcune piccole, ma non zero, conoscenza del valore reale di un parametro, mentre un "precedente non informativo" sarebbe usato per significare completa ignoranza per quanto riguarda il valore di quel parametro. Sarebbe forse usato per dimostrare che l'analisi non era completamente obiettiva.

Ad esempio un gaussiano molto ampio potrebbe essere un vago priore per un parametro in cui un priore non informativo sarebbe uniforme. Il gaussiano sarebbe quasi piatto sulla scala di interesse, ma favorirebbe comunque un valore particolare un po 'più di qualsiasi altro (ma potrebbe rendere il problema più matematicamente trattabile).


questo fa sorgere la domanda: l'uniforme sarebbe davvero non informativa? quale sarebbe il massimo e il minimo dell'uniforme non informativa? Il precedente sarebbe non informativo dopo la trasformazione in un'altra scala?
David LeBauer,

1
I priori uniformi non sono necessariamente informativi e viceversa, dipende dalla natura del problema. Penso che l'idea di un precedente minimamente informativo sia spesso più realistica, usando MAXENT e gruppi di trasformazione per decidere su una distribuzione precedente che trasmetta la quantità minima di informazioni coerenti con vincoli noti (ad esempio che il precedente dovrebbe essere invariante al ridimensionamento). Per molti problemi, i priori impropri funzionano bene, quindi non è necessariamente necessario che ci sia un minimo e un massimo ben definiti.
Dikran Marsupial,

2

I priori non informativi hanno forme diverse. Queste forme includono vaghi priori e priori impropri. Quindi un vago priore fa parte di priori non informativi.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.