"Dimenticanza" del priore nell'ambientazione bayesiana?

E 'ben noto che quando si dispone di ulteriori elementi di prova (ad esempio sotto forma di grande per esempi IID), il bayesiano prima viene "dimenticato", e la maggior parte l'inferenza è influenzato dalle prove (o la probabilità). $n$ $n$

È facile vederlo per vari casi specifici (come Bernoulli con Beta precedente o altri tipi di esempi) - ma c'è un modo per vederlo nel caso generale con e qualche precedente ? $x_1,\ldots,x_n \sim p(x|\mu)$ $p(\mu)$

EDIT: Immagino che non possa essere mostrato nel caso generale per nessun precedente (per esempio, un punto-massa anteriore manterrebbe il posteriore una massa-punto). Ma forse ci sono alcune condizioni in cui si dimentica un priore.

Ecco il tipo di "percorso" che sto pensando di mostrare qualcosa del genere:

Supponiamo che lo spazio dei parametri sia e che e siano due priori che posizionano una massa di probabilità diversa da zero su tutto . Quindi, i due calcoli posteriori per ogni precedente ammontano a: $\Theta$ $p(\theta)$ $q(\theta)$ $\Theta$

p (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) p (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$

q (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) q (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}

$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$

Se dividi per (i posteriori), ottieni: $p$ $q$

p (θ | x_{1}, \dots, x_{n}) / q (θ | x_{1}, \dots, x_{n}) = \frac{p (θ) \int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}{q (θ) \int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$

Ora vorrei esplorare il termine sopra come va a . Idealmente, andrebbe a per un certo che "ha senso" o qualche altro comportamento simpatico, ma non riesco a capire come mostrare qualcosa lì. $n$ $\infty$ $1$ $\theta$

bayesian prior

— bayesianOrFrequentist
fonte

Per un po 'di intuizione, nota che la probabilità si ridimensiona con la dimensione del campione mentre il precedente no.

— Macro

@Macro, grazie, ho avuto anche quell'intuizione, ma non ho potuto spingerlo oltre. Vedi le mie modifiche sopra.

— bayesianOrFrequentist

I primi capitoli del libro di testo di Ghosh e Ramamoorthi Bayesian Nonparametrics completano il genere di cose di cui stai parlando (dapprima in un'impostazione parametrica, poi non parametrica); è disponibile gratuitamente tramite Springer online se ti trovi in un istituto appropriato. Esistono diversi modi per formalizzare la mancanza di dipendenza dal precedente asintoticamente, ma ovviamente ci sono alcune condizioni di regolarità.

— ragazzo

Si noti che il rapporto posteriore è solo proporzionale al rapporto precedente, quindi la probabilità o il rapporto di evidenza non influenza questo.

— Probislogic

Risposte:

Solo una risposta approssimativa, ma speriamo intuitiva.

Guardalo dal punto di vista dello spazio-log: dove è una costante che dipende dai dati, ma non dal parametro, e dove le tue probabilità assumono osservazioni. Quindi, concentrati solo sulla parte che determina la forma del tuo posteriore, ovvero
$- \log P (θ | x_{1}, \dots, x_{n}) = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ) - C_{n}$ $-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$ $C_n>0$ $S_{n} = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ)$ $S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$
Si supponga che v'è una tale che . Questo è ragionevole per distribuzioni discrete. $D>0$ $-\log P(\theta) \leq D$
Poiché i termini sono tutti positivi, "crescerà" (sto saltando i tecnicismi qui). Ma il contributo del priore è delimitata da . Quindi, la frazione fornita dal precedente, che è al massimo , diminuisce monotonicamente ad ogni ulteriore osservazione. $S_n$ $D$ $D/S_n$

Naturalmente, le prove rigorose devono affrontare i tecnicismi (e possono essere molto difficili), ma l'impostazione sopra è IMHO la parte molto semplice.

— Pedro A. Ortega
fonte

Sono un po 'confuso da ciò che dovrebbero significare le affermazioni che il "priore viene dimenticato" e "la maggior parte dell'inferenza è influenzata dalle prove". Suppongo che intendi quando la quantità di dati aumenta, lo stimatore (la sequenza di) si avvicina al valore reale del parametro indipendentemente dal nostro precedente.

Supponendo alcune condizioni di regolarità sulla forma della distribuzione posteriore, gli stimatori di Bayes sono coerenti e asintoticamente imparziali (vedere Gelman et al, capitolo 4 ). Ciò significa che quando la dimensione del campione aumenta, lo stimatore di bayes si avvicina al valore reale del parametro. Coerenza significa che lo stimatore di bayes converge in probabilità al vero valore del parametro e l'imparzialità asintotica significa che, supponendo che sia il vero valore del parametro, $\theta_0$

\frac{E [\hat{θ} | θ_{0}] - θ_{0}}{\sqrt{V a r (\hat{θ})}} \overset{p}{\to} 0

$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$

La convergenza non dipende dalla forma specifica del priore, ma solo dal fatto che la distribuzione posteriore ottenuta dal priore e la probabilità soddisfano le condizioni di regolarità.

La condizione di regolarità più importante menzionata in Gelman et al. È che la probabilità sia una funzione continua del parametro e che il valore reale del parametro sia all'interno dello spazio dei parametri. Inoltre, come hai notato, il posteriore deve essere diverso da zero in una zona aperta del vero valore del vero valore del parametro. Di solito, il tuo precedente dovrebbe essere diverso da zero sull'intero spazio dei parametri.

— caburke
fonte

grazie, molto perspicace. In realtà speravo in un risultato che non si riferisse nemmeno al valore del parametro "vero". Sto solo dimostrando che tecnicamente, poiché hai più prove, il posteriore che otterrai sarà lo stesso indipendentemente dal precedente con cui hai iniziato. Ho intenzione di apportare alcune modifiche per riflettere ciò.

— bayesianOrFrequentist

@bayesianOrFrequentist Dai un'occhiata al cosiddetto teorema del limite centrale bayesiano .

— Stéphane Laurent