Perché i priori di Jeffreys sono considerati non informativi?

Prendere in considerazione un Jeffreys prima dove , dove è l'informazione di Fisher. $p(\theta) \propto \sqrt{|i(\theta)|}$ $i$

Continuo a vedere questo precedente essere menzionato come un precedente non informativo, ma non ho mai visto un argomento sul perché non è informativo. Dopotutto, non è un precedente costante, quindi ci devono essere altri argomenti.

Capisco che non dipende dalla riparametrizzazione, il che mi porta alla domanda successiva. Il fattore determinante delle informazioni di Fisher non dipende dalla riparametrizzazione? Perché le informazioni di Fisher dipendono sicuramente dalla parametrizzazione del problema.

Grazie.

bayesian prior

— bayesiano
fonte

Hai letto l'articolo di Wikipedia? en.wikipedia.org/wiki/Jeffreys_prior

— whuber

Sì, avevo guardato lì. forse mi manca qualcosa, ma non credo che l'articolo di Wikipedia dia una risposta adeguata alle mie domande.

— bayesiano,

Vedi anche stats.stackexchange.com/questions/38962/…

— Stéphane Laurent

Si noti che il precedente Jeffreys non è invariante rispetto ai modelli equivalenti. Ad esempio, l'inferenza su un parametro è diversa quando si usano distribuzioni binomiali o binomiali di campionamento negativo. Ciò nonostante le funzioni di probabilità siano proporzionali e il parametro abbia lo stesso significato in entrambi i modelli.

p

$p$

— Probislogic

Risposte:

È considerato non informativo a causa dell'invarianza della parametrizzazione. Sembra che tu abbia l'impressione che un precedente uniforme (costante) non sia informativo. A volte lo è, a volte no.

Ciò che accade con la precedente di Jeffreys in seguito a una trasformazione è che il giacobino della trasformazione viene risucchiato nelle informazioni originali di Fisher, che finisce per fornirti le informazioni di Fisher in base alla nuova parametrizzazione. Nessuna magia (almeno nella meccanica), solo un piccolo calcolo e un'algebra lineare.

— JMS
fonte

Non sono d'accordo con questa risposta. L'uso di un priore soggettivo è anche una procedura invariante di parametrizzazione!

— Stéphane Laurent,

Il precedente di Jeffreys coincide con il riferimento di Bernardo precedente per lo spazio dei parametri unidimensionale (e modelli "regolari"). In parole povere, questo è il priore per il quale la divergenza di Kullback-Leibler tra il priore e il posteriore è massima. Questa quantità rappresenta la quantità di informazioni fornite dai dati. Questo è il motivo per cui il precedente è considerato non informativo: questo è quello per cui i dati portano la massima quantità di informazioni.

A proposito, non so se Jeffreys fosse a conoscenza di questa caratterizzazione del suo precedente?

— Stéphane Laurent
fonte

"In parole povere, questo è il priore per il quale la divergenza di Kullback-Leibler tra il priore e il posteriore è massima." Interessante, non lo sapevo.

— Cam.Davidson.Pilon

(+1) Buona risposta. Sarebbe bello vedere alcuni riferimenti di alcuni dei tuoi punti ( es. 1 , 2 ).

@Procrastinator Attualmente sto scrivendo un nuovo post sui priors non informativi;) Per favore, aspetta qualche giorno.

— Stéphane Laurent,

Direi che non è assolutamente non informativo, ma minimamente informativo. Codifica la conoscenza precedente (piuttosto debole) del fatto che sai che il tuo precedente stato di conoscenza non dipende dalla sua parametrizzazione (ad esempio le unità di misura). Se il tuo precedente stato di conoscenza fosse precisamente zero, non sapresti che il tuo precedente era invariante a tali trasformazioni.

— Dikran Marsupial
fonte

Sono confuso. In quale caso sapresti che prima dovresti dipendere dalla parametrizzazione del modello?

— John Lawrence Aspden,

Se vogliamo prevedere la longevità in funzione del peso corporeo, usando un GLM, sappiamo che la conclusione non dovrebbe essere influenzata se pesiamo il soggetto in kg o libbre; se si utilizza una divisa semplice prima dei pesi, si potrebbero ottenere risultati diversi a seconda delle unità di misura.

— Dikran Marsupial,

Questo è un caso in cui sai che non dovrebbe essere interessato. Qual è un caso in cui dovrebbe?

— John Lawrence Aspden,

Penso che ti stia perdendo il punto. Supponiamo che non sappiamo nulla degli attributi, nemmeno che abbiano unità di misura a cui l'analisi dovrebbe essere invariante. In tal caso, il tuo priore codificherebbe meno informazioni sul problema rispetto al precedente di Jeffrey, quindi il precedente di Jeffrey non è del tutto non informativo. Potrebbero essere o meno situazioni in cui l'analisi non dovrebbe essere invariante rispetto ad alcune trasformazioni, ma questo è a parte il punto.

— Dikran Marsupial,

NB, secondo il libro BUGS (p83), lo stesso Jeffrey si riferiva a tali invarianti priori di trasformazione come "minimamente informativi", il che implica che li vedeva codificare alcune informazioni sul problema.

— Dikran Marsupial,