Differenza tra Priori non informativi e impropri


10

Mi chiedo quale sia la differenza tra questi due tipi di priori:

  • Non-informativo
  • Improprio

4
Potrebbe essere utile fornire qui un contesto. Cosa capisci di questi già? C'è un particolare punto di confusione?
gung - Ripristina Monica


@Tim grazie. Stavo cercando non informativo anziché debolmente informativo .
Bram,

Risposte:


17

I priori impropri sono -finite misure non negative d π sullo spazio dei parametri Θ tali che Θ d π ( θ ) = + In quanto tali generalizzano la nozione di una distribuzione precedente, che è una distribuzione di probabilità sullo spazio dei parametri Θ tale che Θ d π ( θ ) = 1 Sono utili in diversi modi per caratterizzarliσdπΘ

Θdπ(θ)=+
Θ
Θdπ(θ)=1
  1. l'insieme dei limiti delle procedure bayesiane appropriate, che non sono tutte procedure bayesiane adeguate;
  2. procedure ottimali frequentiste come in (ammissibilità) teoremi di classe completi come quelli di Wald;
  3. stimatori invarianti frequentisti migliori (dal momento che possono essere espressi come stime di Bayes in base alla misura Haar corrispondente corrispondente, generalmente impropria);
  4. i priori derivavano dalla forma della funzione di verosimiglianza, come i priori non informativi (ad es. Jeffreys ').

Poiché non si integrano in un numero finito, non consentono un'interpretazione probabilistica, ma possono comunque essere utilizzati nell'inferenza statistica se la probabilità marginale è finita poiché il distribuzione posteriore ( θ | x ) d π ( θ )

Θ(θ|X)dπ(θ)<+
è quindi ben definito. Ciò significa che può essere utilizzato esattamente allo stesso modo in cui viene utilizzata una distribuzione posteriore derivata da un precedente adeguato, per ricavare quantità posteriori per la stima come mezzi posteriori o intervalli credibili posteriori.
(θ|X)dπ(θ)Θ(θ|X)dπ(θ)

Avvertenza: un ramo dell'inferenza bayesiana non affronta molto bene i priori impropri, vale a dire quando si verificano ipotesi acute. In effetti, tali ipotesi richiedono la costruzione di due distribuzioni precedenti, una sotto lo zero e l'altra sotto l'alternativa, che sono ortogonali. Se uno di questi priori è improprio, non può essere normalizzato e il fattore Bayes risultante è indeterminato.

δL(d,θ)dπL ( d , θ ) d π ( θ ) ϖ ( θ ) ϖ ( θ )

argmindΘL(d,θ)(θ|X)dπ(θ)
L(d,θ)dπ(θ)π(θ)π(θ)
L(d,θ)dπ(θ)=L(d,θ)π(θ)×π(θ)dπ(θ)

I priori non informativi sono classi di distribuzioni precedenti (proprie o improprie) determinate in base a un determinato criterio informativo relativo alla funzione di probabilità, come

  1. La ragione insufficiente di Laplace prima piatta;
  2. Jeffreys (1939) priori invarianti;
  3. priori della massima entropia (o MaxEnt) (Jaynes, 1957);
  4. descrizione minima lunghezza priori (Rissanen, 1987; Grünwald, 2005);
  5. priori di riferimento (Bernardo, 1979, 1781; Berger & Bernardo, 1992; Bernardo & Sun, 2012)
  6. priori corrispondenti alla probabilità (Welsh & Peers, 1963; Scricciolo, 1999; Datta, 2005)

e altre classi, alcune delle quali sono descritte in Kass & Wasserman (1995). Il nome non informativo è un termine improprio in quanto nessun precedente è mai completamente non informativo. Vedi la mia discussione su questo forum. O la diatriba di Larry Wasserman . (I priori non informativi sono spesso impropri.)


9

Un precedente non informativo, rigorosamente parlando, non è una distribuzione precedente. Questa è una funzione tale che, se la consideriamo come una distribuzione e applichiamo la formula di Bayes, otteniamo una certa distribuzione posteriore, che mira a riflettere il meglio possibile le informazioni contenute nei dati e solo nei dati, o per ottenere una buona proprietà di abbinamento frequentista (ovvero un intervallo credibile posteriore del è approssimativamente un intervallo di fiducia del ).95 %95%95%

Un precedente non informativo è spesso "improprio". Una distribuzione ha una proprietà ben nota: il suo integrale è uguale a uno. Un priore non informativo è considerato improprio quando il suo integrale è infinito (quindi in tal caso è chiaro che non è una distribuzione).


3
Considero questa definizione di "non informativo" prima di essere super-restrittiva!
Xi'an,

@ Xi'an Vista la carenza dell'OP, penso che questa breve risposta sia piuttosto appropriata.
Stéphane Laurent,

@ Xi'an È una citazione di Bernardo (più o meno). Io sono d'accordo ^^
Stéphane Laurent,

1
@ Xi'an Non sono ancora a casa, ma ad esempio qui i riferimenti posteriori sono ottenuti mediante l'uso formale del teorema di Bayes con una funzione di riferimento precedente . Benardo afferma che la funzione precedente di riferimento , non la distribuzione.
Stéphane Laurent,

2
Più seriamente @ Xi'an, vuoi dire che è restrittivo per i priori non informativi bernesi? Esatto, e forse altri. So che hai più conoscenza di me in questo argomento. Ma sono orientato al Bernardo (e corrispondenti ai precedenti).
Stéphane Laurent,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.