I bayesiani accettano gli assiomi di Kolmogorov?

Di solito la teoria della probabilità viene insegnata con gli assiomi di Kolgomorov. I bayesiani accettano anche gli assiomi di Kolmogorov?

probability bayesian kolmogorov-axioms

— manoscritto
fonte

La teoria bayesiana segue dagli assiomi standard di probabilità, quindi dagli assiomi di Kolmogorov.

— Xi'an,

@ Xi'an: che i gradi soggettivi di credenza possano essere rappresentati dalla probabilità non è così ovvio - da qui la domanda, e il lavoro di Ramsey & de Finetti.

— Scortchi - Ripristina Monica

Ecco perché sono un bayesiano "oggettivo" e inizio con le distribuzioni precedenti definite secondo gli standard della teoria della probabilità ...

— Xi'an,

Credo che l'interpretazione della probabilità di Cox-Jaynes fornisca una base rigorosa per la probabilità bayesiana. (vedi la mia risposta). Tuttavia, sarebbe bello avere l'opinione di Xi'an su questo.

— Summit

@Summit: grazie ma temo di non essere molto interessato al problema ...!

— Xi'an,

Risposte:

Secondo me, l'interpretazione della probabilità di Cox-Jaynes fornisce una base rigorosa per la probabilità bayesiana:

Cox, Richard T. "Probabilità, frequenza e aspettative ragionevoli." Rivista americana di fisica 14.1 (1946): 1-13.
Jaynes, Edwin T. Teoria della probabilità: la logica della scienza. Pressa universitaria di Cambridge, 2003.
Beck, James L. "Identificazione del sistema bayesiano basata sulla logica di probabilità." Controllo strutturale e monitoraggio sanitario 17.7 (2010): 825-847.

Gli assiomi della logica di probabilità derivati da Cox sono:

(P1): (per convenzione) $\Pr[b|a]\ge0$
(P2): $\Pr[\overline{b}|a]=1-\Pr[b|a]$ (funzione di negazione)
(P3): (funzione congiunzione) $\Pr[b\cap c|a]=\Pr[c|b\cap a]\Pr[b|a]$

Gli assiomi P1-P3 implicano quanto segue (Beck, James L. "Identificazione del sistema bayesiano basata sulla logica di probabilità." Controllo strutturale e monitoraggio sanitario 17.7 (2010): 825-847):

(P4): a) ; b) ; c) $\Pr[b|b\cap c] = 1$ $\Pr[\overline{b}|b\cap c] = 0$ $\Pr[b|c]\in[0,1]$
(P5): a) , b) , dove indica che è contenuto in e significa che è equivalente a . $\Pr[a|c \cap (a \Rightarrow b)]\le\Pr[b|c\cap(a \Rightarrow b)]$ $\Pr[a|c\cap(a \Leftrightarrow b)] = \Pr[b|c\cap(a \Leftrightarrow b)]$ $a \Rightarrow b$ $a$ $c$ $a \Leftrightarrow b$ $a$ $b$
(P6): $\Pr[a \cup b|c] = \Pr[a|c]+\Pr[b|c]-\Pr[a\cap b|c]$
(P7): Supponendo che la proposizione afferma che una e una sola delle proposizioni è vera, quindi: b 1 , … , b N
- a) Teorema di marginalizzazione: $\Pr[a|c]=\sum_{n=1}^N P[a \cap b_n|c]$
- b) Teorema della probabilità totale: $\Pr[a|c] = \sum_{n=1}^N \Pr[a|b_n\cap c]\Pr[b_n|c]$
- c) Teorema di Bayes: per : $k=1,\ldots,N$ $\Pr[b_k|a\cap c] = \frac{\Pr[a|b_k\cap c]\Pr[b_k|c]}{\sum_{n=1}^N \Pr[a|b_n\cap c]\Pr[b_n|c]}$

Implicano l'affermazione della logica di Kolmogorov, che può essere vista come un caso speciale.

Nella mia interpretazione di un punto di vista bayesiano, tutto è sempre (implicitamente) condizionato dalle nostre credenze e dalle nostre conoscenze.

Il seguente confronto è tratto da Beck (2010): Identificazione del sistema bayesiano basata sulla logica di probabilità

Il punto di vista bayesiano

La probabilità è una misura della plausibilità di un'affermazione basata su informazioni specifiche.

Le distribuzioni di probabilità rappresentano stati di conoscenza plausibile di sistemi e fenomeni, non proprietà intrinseche di essi.
La probabilità di un modello è una misura della sua plausibilità rispetto ad altri modelli in un set.
Pragmaticamente quantifica l'incertezza dovuta alla mancanza di informazioni senza alcuna pretesa che ciò sia dovuto alla casualità intrinseca della natura.

Il punto di vista del frequentista

La probabilità è la frequenza relativa di occorrenza di un evento intrinsecamente casuale nel lungo periodo .

Le distribuzioni di probabilità sono proprietà intrinseche di fenomeni casuali.
Ambito limitato, ad es. Nessun significato per la probabilità di un modello.
Si presuppone una casualità intrinseca , ma non può essere dimostrata.

Come derivare gli assiomi di Kolmogorov dagli assiomi sopra

Di seguito, la sezione 2.2 di [Beck, James L. "Identificazione del sistema bayesiano basata sulla logica di probabilità". Controllo strutturale e monitoraggio sanitario 17.7 (2010): 825-847.] È riassunto:

Nel seguito utilizziamo: misura di probabilità sul sottoinsieme di un insieme finito : $\Pr(A)$ $A$ $X$

[K1]: $\Pr(A)\ge 0, \forall A \subset X$
[K2]: $\Pr(X) = 1$
[K3]: se e sono disgiunti. $\Pr(A\cup B)=\Pr(A)+\Pr(B), \forall A,B \subset X$ $A$ $B$

Per derivare (K1-K3) dagli assiomi della teoria della probabilità, [Beck, 2010] ha introdotto propositon che afferma e specifica il modello di probabilità per . [Beck, 2010] introduce inoltre . $\pi$ $x\in X$ $x$ $\Pr(A) = \Pr[x\in A|\pi]$

P1 implica K1 con e $b=\{x\in A\}$ $c=\pi$
K2 segue da ; P4 (a), e Stati che . $\Pr[x\in X|\pi]=1$ $\pi$ $x\in X$
K3 può essere derivato da P6: e sono disgiunti significa che e si escludono a vicenda. Pertanto, K3: $A$ $B$ $x\in A$ $x\in B$ $\Pr(x\in A\cup B|\pi)=\Pr(x\in A|\pi)+\Pr(x\in B|\pi)$

— Vertice
fonte

Dal tuo K3 puoi arrivare a (additività finita) ma non al terzo assioma di Kolmogorov, (additività numerabile) quando le sono elementi di un campo , e non semplicemente sottoinsiemi di un set finito.

Pr (\cup_{i = 1}^{n} A_{i}) = \sum_{i = 1}^{n} Pr (A_{i})

$\Pr(\cup_{i=1}^n A_i)=\sum_{i=1}^n\Pr(A_i)$

Pr (\cup_{i = 1}^{\infty} A_{i}) = \sum_{i = 1}^{\infty} Pr (A_{i})

$\Pr(\cup_{i=1}^\infty A_i)=\sum_{i=1}^\infty\Pr(A_i)$

A

$A$

σ

$\sigma$

— Scortchi - Ripristina Monica

@Scortchi KRKoch nella sua introduzione a Bayesian Statistics cita Bernardo e Smith (1994), Bayesian Theory, p. 105, come fonte che mostra come affrontare l'infinito numerabile. Non l'ho verificato, ma come riferimento può anche essere indicato qui.

— Scritto il

Dopo lo sviluppo della teoria della probabilità, è stato necessario dimostrare che i concetti più vaghi che rispondevano al nome di "probabilità" si adeguavano al concetto rigorosamente definito che avevano ispirato. Le probabilità "soggettive" bayesiane sono state prese in considerazione da Ramsey e de Finetti, che hanno mostrato in modo indipendente che una quantificazione del grado di credenza soggetta ai vincoli di comparabilità e coerenza (le tue convinzioni sono coerenti se nessuno può fare un libro olandese contro di te) deve essere una probabilità.

Le differenze tra assiomatizzazioni sono in gran parte una questione di gusti riguardo a ciò che dovrebbe essere ciò che è definito e ciò che ne deriva. Ma l'additività numerabile è uno di Kolmogorov che non è derivabile da Cox o Finetti, ed è stato controverso. Alcuni bayesiani (ad es. De Finetti e Savage) si fermano all'additività finita e quindi non accettano tutti gli assiomi di Kolmogorov. Possono mettere distribuzioni di probabilità uniformi su intervalli infiniti senza improprietà. Altri seguono Villegas anche assumendo una continuità monotona, e ne ottengono additivi numerabili.

Ramsey (1926), "Verità e probabilità", in Ramsey (1931), Le basi della matematica e altri saggi logici

de Finetti (1931), "Sul significato soggettivo della probabilità", Fundamenta Mathematicæ , 17 , pp 298-325

Villegas (1964), "Sulla probabilità qualitativa -algebras", Ann. Matematica. Statist. , 35 , 4. $\sigma$

— Scortchi - Ripristina Monica
fonte

Perché la mia risposta dovrebbe riguardare solo le probabilità "oggettive bayesiane"? Il lavoro fondamentale di Cox (1946) affronta esplicitamente la questione della soggettività! È un documento molto interessante e facile da leggere. Non penso che abbia senso distinguere tra probabilità bayesiane "soggettive" e "oggettive": tutto è sempre implicitamente condizionato alla persona che esegue l'analisi -> e in questo senso "soggettiva".

— Summit

riguardo alla derivazione degli assiomi affermava Kolmogorov da Cox: Sono soddisfatto del modo in cui è fatto nella sezione 2.2 di Beck, James L. "Identificazione del sistema bayesiano basata sulla logica di probabilità". Controllo strutturale e monitoraggio sanitario 17.7 (2010): 825-847.

— Summit

@Summit: (1) Hai ragione; è piuttosto che la visione disposizionale della probabilità di Ramsey & de Finetti li colloca esattamente nel campo "soggettivo", mentre quello di Cox è più generalmente applicabile. (2) Stai dicendo che l'additività numerabile può essere dedotta dai postulati di Cox?

— Scortchi - Ripristina Monica

Ho esteso la mia risposta e attendo i tuoi commenti.

— Summit

@Summit: Grazie - Spero di trovare il tempo di rendere la mia anche la metà accurata. Ho sottolineato il divario tra dove puoi arrivare dal teorema di Cox e gli assiomi "pieni" di Kolmogorov e penso che sia particolarmente pertinente alla domanda (anche se me ne ero completamente dimenticato quando ho risposto per la prima volta). Jaynes aveva alcune cose interessanti da dire su questo BTW.

— Scortchi - Ripristina Monica