Qual è la relazione tra la dimensione del campione e l'influenza del priore sul posteriore?

Se abbiamo una piccola dimensione del campione, la distribuzione precedente influenzerà molto la distribuzione posteriore?

Sì. La distribuzione posteriore per un parametro , dato un set di dati X può essere scritta come$\theta$${\bf X}$

$$p(\theta | {\bf X}) \propto \underbrace{p({\bf X} | \theta)}_{{\rm likelihood}} \cdot \underbrace{p(\theta)}_{{\rm prior}}$$

o, come è più comunemente visualizzato sulla scala del registro,

$$\log( p(\theta | {\bf X}) ) = c + L(\theta;{\bf X}) + \log(p(\theta))$$

La probabilità logaritmica, , si ridimensiona in base alla dimensione del campione , poiché è una funzione dei dati, mentre la densità precedente no. Pertanto, all'aumentare della dimensione del campione, il valore assoluto di L ( θ ; X ) aumenta mentre il registro ( p ( θ ) ) rimane fisso (per un valore fisso di θ ), quindi la somma L ( θ ; X$L(\theta;{\bf X}) = \log \left( p({\bf X}|\theta) \right)$$L(\theta;{\bf X})$$\log(p(\theta))$$\theta$ viene influenzato maggiormente da L ( θ ; X ) all'aumentare della dimensione del campione.$L(\theta;{\bf X}) + \log(p(\theta))$$L(\theta;{\bf X})$

Pertanto, per rispondere direttamente alla tua domanda, la distribuzione precedente diventa sempre meno rilevante in quanto viene compensata dalla probabilità. Quindi, per una piccola dimensione del campione, la distribuzione precedente svolge un ruolo molto più ampio. Ciò concorda con l'intuizione poiché, ci si aspetterebbe che le specifiche precedenti svolgessero un ruolo più ampio quando non ci sono molti dati disponibili per confutarli mentre, se la dimensione del campione è molto grande, il segnale presente nei dati supererà qualunque cosa a priori le credenze sono state inserite nel modello.

Ecco un tentativo di illustrare l'ultimo paragrafo della risposta eccellente (+1) di Macro. Mostra due priori per il parametro nella distribuzione B i n o m i a l ( n , p ) . Per alcune n diverse , le distribuzioni posteriori sono mostrate quando x = n / 2 è stato osservato. Come n cresce, entrambi posteriori diventano sempre più concentrata intorno 1 / 2 .$p$${\rm Binomial}(n,p)$$n$$x=n/2$$n$$1/2$

Per la differenza è abbastanza grande, ma per n = 50 non c'è praticamente alcuna differenza.$n=2$$n=50$

I due priori sotto sono (nero) e B e t un ( 2 , 2 ) (rosso). I posteriori hanno gli stessi colori dei priori da cui sono derivati.${\rm Beta(1/2,1/2)}$${\rm Beta(2,2)}$

(Nota che per molti altri modelli e altri precedenti, non sarà sufficiente perché il precedente non abbia importanza!)$n=50$