Teorema dell'intuizione di Bayes

22

Ho cercato di sviluppare una comprensione basata sull'intuizione del teorema di Bayes in termini di probabilità anteriore , posteriore , di probabilità e marginale . Per questo uso la seguente equazione: dove rappresenta un'ipotesi o una convinzione e rappresenta dati o prove. Ho capito il concetto di posteriore - è un'entità unificante che combina la credenza precedente e la probabilità di un evento. Quello che non capisco è cosa significa la probabilità ? E perché è marginale

P (B | A) = \frac{P (A | B) P (B)}{P (A)}

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

A

$A$

B

$B$
probabilità nel denominatore?
Dopo aver esaminato un paio di risorse mi sono imbattuto in questa citazione:

La probabilità è il peso dell'evento dato dal verificarsi di ... è la probabilità posteriore dell'evento , dato che l'evento è verificato. $B$ $A$ $P(B|A)$ $B$ $A$

Le precedenti 2 affermazioni mi sembrano identiche, appena scritte in diversi modi. Qualcuno può spiegare la differenza tra i due?

bayesian likelihood intuition

— Anas Ayubi
fonte

4

Hai un refuso (o un malinteso). dovrebbe essere l '"ipotesi o convinzione" e dovrebbe essere i "dati o prove" nella tua formulazione.

B

$B$

A

$A$

— gung - Ripristina Monica

1

vedi la mia risposta su math.stackexchange.com/a/1943255/1505 è così che ho finito per capirlo intuitivamente

— Lyndon White

27

Sebbene ci siano quattro componenti elencati nella legge di Bayes, preferisco pensare in termini di tre componenti concettuali:

\underset{2}{\underset{⏟}{P (B | A)}} = \underset{3}{\underset{⏟}{\frac{P (A | B)}{P (A)}}} \underset{1}{\underset{⏟}{P (B)}}

$\underbrace{P(B|A)}_2 = \underbrace{\frac{P(A|B)}{P(A)}}_3 \underbrace{P(B)}_1$

Il precedente è ciò che hai creduto su prima di aver trovato un'informazione nuova e pertinente (ovvero ). $B$ $A$
Il posteriore è ciò in cui credi (o dovresti, se sei razionale) su dopo aver incontrato una nuova e rilevante informazione. $B$
Il quoziente della probabilità diviso per la probabilità marginale del nuovo pezzo di informazione indici del informatività delle nuove informazioni per le vostre convinzioni su . $B$

— gung - Ripristina Monica
fonte

19

Ci sono già molte buone risposte, ma forse questo può aggiungere qualcosa di nuovo ...

Penso sempre alla regola di Bayes in termini di probabilità dei componenti, che può essere compresa geometricamente in termini di eventi e come illustrato di seguito. $A$ $B$

Le probabilità marginali e sono date dalle aree dei cerchi corrispondenti. Tutti i possibili risultati sono rappresentati da , corrispondente all'insieme di eventi " o ". La probabilità congiunta corrisponde all'evento " e ". $P(A)$ $P(B)$ $P(A \cup B)=1$ $A$ $B$ $P(A \cap B)$ $A$ $B$

In questo quadro, le probabilità condizionali nel teorema di Bayes possono essere intese come rapporti di aree. La probabilità di dato è la frazione di occupata da , espressa come Analogamente, la probabilità di dato è la frazione di occupata da , ovvero $A$ $B$ $B$ $A \cap B$

P (A | B) = \frac{P (A \cap B)}{P (B)}

$P(A\vert B)=\frac{P(A \cap B)}{P(B)}$

B

$B$

A

$A$

A

$A$

A \cap B

$A \cap B$

P (B | A) = \frac{P (A \cap B)}{P (A)}

$P(B\vert A)=\frac{P(A \cap B)}{P(A)}$

Il teorema di Bayes è in realtà solo una conseguenza matematica delle definizioni di cui sopra, che può essere riformulata come I trova questa forma simmetrica del teorema di Bayes molto più facile da ricordare. Ossia, l'identità è valida indipendentemente da quale o è etichettato "precedente" rispetto a "posteriore".

P (B | A) P (A) = P (A \cap B) = P (A | B) P (B)

$P(B\vert A)P(A)=P(A \cap B)=P(A\vert B)P(B)$

p (A)

$p(A)$

p (B)

$p(B)$

(Un altro modo di comprendere la discussione di cui sopra è dato nella mia risposta a questa domanda , da un punto di vista più "foglio di calcolo contabile".)

— GeoMatt22
fonte

9

@gung ha un'ottima risposta. Vorrei aggiungere un esempio per spiegare l '"iniziazione" in un esempio del mondo reale.

Per una migliore connessione con esempi del mondo reale, vorrei cambiare la notazione, dove usa per rappresentare l'ipotesi (la nella tua equazione) e usa per rappresentare l'evidenza. (la nella tua equazione.) $H$ $A$ $E$ $B$

Quindi la formula è

P (H | E) = \frac{P (E | H) P (H)}{P (E)}

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$

Nota la stessa formula può essere scritta come

P (H | E) \propto P (E | H) P (H)

$P(H|E) \propto {P(E|H)P(H)}$

$\propto$ $P(E|H)$ $P(H)$ $P(E)$ $E$

$H \in \{0,1\}$

$1$ $1000$ $P(H=1)=0.001$ $P(H=0)=0.999$

L'obiettivo finale è il calcolo di che significa che vogliamo sapere se una transazione è una frode non basata su prove aggiuntive rispetto a precedenti . Se osservi il lato destro dell'equazione, la scomponiamo in probabilità e in precedenza . $P(H|E)$

Laddove abbiamo già spiegato ciò che è precedente , qui spieghiamo cos'è la probabilità. Supponiamo di avere due tipi di prove, che rappresentano, se stiamo osservando una posizione geografica normale o strana della transazione. $E\in\{0,1\}$

La probabilità può essere piccola, il che significa che data una normale transazione, è molto improbabile che la posizione sia strana. D'altra parte, può essere grande. $P(E=1|H=0)$ $P(E=1|H=1)$

$E=1$

— Haitao Du
fonte

P (H = 0)

$P(H=0)$

0.999

$0.999$

P (H = 1) = 0.001

$P(H=1)=0.001$

1

Nota che la regola di Bayes è

$P(a|b)=\frac{P(b,a)}{P(b)}=\frac{P(b,a)}{P(b)P(a)}P(a)$

Nota il rapporto

\frac{P (b, a)}{P (b) P (a)} .

$\frac{P(b,a)}{P(b)P(a)}.$

$B \perp A$ $P(b,a)=P(b)P(a)$

È interessante notare che il registro di questo rapporto è presente anche nelle informazioni reciproche:

I (A | B) = \sum_{a, b} P_{} (a, b) \log \frac{P_{} (b, a)}{P (b) P (a)}

$I(A|B) = \sum_{a,b}P_{}(a,b)\mathbf{\log\frac{P_{}(b,a)}{P(b)P(a)}}$

— user0
fonte

0

$P(A,B)$

probabilità = proporzioni di riga posteriori = proporzioni di colonna

Il priore e il marginale sono definiti in modo analogo, ma in base ai "totali" anziché a una colonna particolare

marginale = proporzioni totali riga precedente = proporzioni totali colonna

Trovo che questo mi aiuti.

— probabilityislogic
fonte