11

Supponiamo che $Y$ sia una variabile casuale continua e che $X$ sia una discreta.

Pr (X = x | Y = y) = \frac{Pr (X = x) Pr (Y = y | X = x)}{Pr (Y = y)}

$\Pr(X=x|Y=y) = \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)}$

Come sappiamo, $\Pr(Y=y) = 0$ perché $Y$ è una variabile casuale continua. E sulla base di ciò, sono tentato di concludere che la probabilità $\Pr(X=x|Y=y)$ non è definita.

Tuttavia, Wikipedia afferma qui che in realtà è definito come segue:

Pr (X = x | Y = y) = \frac{Pr (X = x) f_{Y | X = x} (y)}{f_{Y} (y)}

$\Pr(X=x|Y=y) = \frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}$

Domanda: Qualche idea su come è riuscita Wikipedia a definire quella probabilità?

Il mio tentativo

Ecco il mio tentativo per ottenere quel risultato di Wikipedia in termini di limiti:

\begin{aligned} Pr (X = x | Y = y) & = \frac{Pr (X = x) Pr (Y = y | X = x)}{Pr (Y = y)} \\ = lim_{d \to 0} \frac{Pr (X = x) (d \times f_{Y | X = x} (y))}{(d \times f_{Y} (y))} \\ = lim_{d \to 0} \frac{Pr (X = x) (d \times f_{Y | X = x} (y))}{(d \times f_{Y} (y))} \\ = \frac{Pr (X = x) f_{Y | X = x} (y)}{f_{Y} (y)} \end{aligned}

$\begin{split}\require{cancel} \Pr(X=x|Y=y) &= \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)}\\ &= \lim_{d \rightarrow 0}\frac{\Pr(X=x) \big(d \times f_{Y|X=x}(y)\big)}{\big(d \times f_Y(y)\big)}\\ &= \lim_{d \rightarrow 0}\frac{\Pr(X=x) \big(\cancel{d} \times f_{Y|X=x}(y)\big)}{\big(\cancel{d} \times f_Y(y)\big)}\\ &= \frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}\\ \end{split}$

Ora, $\Pr(X=x|Y=y)$ sembra essere definito come $\frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}$ , che corrisponde che rivendicano Wikipedia.

È così che ha fatto Wikipedia?

Ma sento ancora che sto abusando del calcolo qui. Quindi penso che $\Pr(X=x|Y=y)$ non sia definito, ma nel limite il più vicino possibile per definire $\Pr(Y=y)$ e $\Pr(Y=y|X=x)$ , ma non alla vista, viene definito $\Pr(X=x|Y=y)$ .

Ma sono in gran parte incerto su molte cose, incluso il trucco dei limiti che ho fatto lì, sento che forse non sto nemmeno comprendendo appieno il significato di ciò che ho fatto.

conditional-probability pdf

— uomo delle caverne
fonte

1

In effetti, Pr (X = x) = 0 ma la densità di X in xf (x) potrebbe non essere uguale a 0. Non dovresti usare un'etichetta 'autoapprendimento' ??

— Lil'Lobster

2

@Lil Per quanto ne so, il tag 'autoapprendimento' è quando si risolvono i compiti. Non lo sto facendo.

— cavernicolo

1

La pagina di Wikipedia in realtà si riferisce alla derivazione: en.wikipedia.org/wiki/Bayes'_theorem#Derivation

— Ytsen de Boer

3

Temo che la tua derivazione non abbia giustificazioni matematiche come per tutto quando è continuo.

P (Y = y) = 0

$\mathbb{P}(Y=y)=0$

y \in Y

$y\in\mathcal{Y}$

Y

$Y$

— Xi'an,

10

La distribuzione di probabilità condizionale , , , è formalmente definita come una soluzione dell'equazione dove indica la -algebra associata alla distribuzione di . Una di queste soluzioni è fornita dalla formula di Bayes (1763) come indicato in Wikipedia : $\mathbb{P}(X=x|Y=y)$ $x\in\mathcal{X}$ $y\in\mathcal{Y}$

P (X = x, Y \in A) = \int_{A} P (X = x | Y = y) f_{Y} (y) d y \forall A \in σ (Y)

$\mathbb{P}(X=x,Y\in A)=\int_{A}\mathbb{P}(X=x|Y=y)f_Y(y)\text{d}y\quad\forall A\in\sigma(\mathcal{Y})$

σ (Y)

$\sigma(\mathcal{Y})$

σ

$\sigma$

Y

$Y$

P (X = x | Y = y) = \frac{P (X = x) f_{Y | X = x} (y)}{f_{Y} (y)} \forall x \in X, y \in Y

$\mathbb{P}(X=x|Y=y) = \dfrac{\mathbb{P}(X=x) f_{Y|X=x}(y)}{f_Y(y)}\qquad\forall x\in\mathcal{X},\ y\in\mathcal{Y}$ anche se sono valide anche le versioni che sono arbitrariamente definite su una misura zero impostata in .

σ (Y)

$\sigma(\mathcal{Y})$

Il concetto di probabilità condizionale rispetto a un'ipotesi isolata la cui probabilità è uguale a 0 è inammissibile. Perché possiamo ottenere una distribuzione di probabilità per [la latitudine] sul cerchio meridiano solo se consideriamo questo cerchio come un elemento della decomposizione dell'intera superficie sferica su cerchi meridiani con i poli indicati - Andrei Kolmogorov

Come mostrato dal paradosso di Borel-Kolmogorov , dato un valore specifico potenzialmente preso , la distribuzione di probabilità condizionale non ha un significato preciso, non solo perché l'evento è di misura zero, ma anche perché questo evento può essere interpretato come misurabile rispetto a un intervallo infinito di -algebre. $y_0$ $Y$ $\mathbb{P}(X=x|Y=y_0)$ $\{\omega;\,Y(\omega)=y_0\}$ $\sigma$

Nota: ecco un'introduzione ancora più formale, tratta da una recensione della teoria della probabilità sul blog di Terry Tao :

Definizione 9 (disintegrazione) Sia una variabile casuale con raggio . Una disintegrazione dello spazio campione sottostante rispetto a è un sottoinsieme di di misura completa in (quindi quasi sicuramente), insieme all'assegnazione di una misura di probabilità nel sottospazio di per ogni , che è misurabile nel senso che la mappa $Y$ $R$ $(R', (\mu_y)_{y \in R'})$ $\Omega$ $Y$ $R'$ $R$ $\mu_Y$ $Y \in R'$ ${\bf P}(|Y=y)$ $\Omega_y := \{ \omega \in \Omega: Y(\omega)=y\}$ $\Omega$ $y \in R$ $y \mapsto {\bf P}(F|Y=y)$ è misurabile per ogni evento e tale che per tutti questi eventi, dove è la variabile casuale (quasi sicuramente definita) definita uguale a ogni volta che . $F$
$P (F) = E P (F | Y)$ $\displaystyle {\bf P}(F) = {\bf E} {\bf P}(F|Y)$ ${\bf P}(F|Y)$ ${\bf P}(F|Y=y)$ $Y=y$
Data tale disintegrazione, possiamo quindi condizionare all'evento per qualsiasi sostituendo con il sottospazio (con l'induzione -algebra), ma sostituendo la misura di probabilità sottostante con . Possiamo quindi condizionare gli eventi (incondizionati) e le variabili casuali a questo evento per creare eventi condizionati e variabili casuali sullo spazio condizionato, dando origine a probabilità condizionali $Y=y$ $y \in R'$ $\Omega$ $\Omega_y$ $\sigma$ ${\bf P}$ ${\bf P}(|Y=y)$ $F$ $X$ $(F|Y=y)$ $(X|Y=y)$ ${\bf P}(F|Y=y)$ (che è coerente con la notazione esistente per questa espressione) e le aspettative condizionali (assumendo integrabilità assoluta in questo spazio condizionato). Quindi impostiamo come variabile casuale (quasi sicuramente definita) definita uguale ogni volta che . ${\bf E}(X|Y=y)$ ${\bf E}(X|Y)$ ${\bf E}(X|Y=y)$ $Y=y$

— Xi'an
fonte

1

Ho già fatto +1, ma ... forse è nitpicking, ma non sarebbe più preciso riferirsi al teorema di Bayes come una formula di Bayes / Laplace ..?

— Tim

2

@Tim: grazie, ma non voglio sembrare troppo sciovinista! Ed è un dato di fatto che la formula di Bayes per discreta (Binomiale) e continua (Beta) appare nel documento di Bayes (1763). Naturalmente, Laplace ha impostato il risultato in una generalità molto più ampia.

X

$X$

Y

$Y$

— Xi'an,

4

Darò uno schizzo di come i pezzi possono stare insieme quando è continuo e è discreto. $Y$ $X$

La densità mista mista:

f_{X Y} (x, y)

$f_{XY}(x,y)$

Densità e probabilità marginali:

f_{Y} (y) = \sum_{x \in X} f_{X Y} (x, y)

$f_Y(y) = \sum_{x \in X} f_{XY}(x, y)$

P (X = x) = \int f_{X Y} (x, y) d y

$P(X = x) = \int f_{XY}(x, y) \;dy$

Densità condizionale e probabilità:

f_{Y ∣ X} (y ∣ X = x) = \frac{f_{X Y} (x, y)}{P (X = x)}

$f_{Y\mid X}(y \mid X = x) = \frac{f_{XY}(x, y)}{P(X=x)}$

P (X = x ∣ Y = y) = \frac{f_{X Y} (x, y)}{f_{Y} (y)}

$P(X=x \mid Y = y) = \frac{f_{XY}(x, y)}{f_Y(y)}$

Regola di Bayes:

f_{Y ∣ X} (y ∣ X = x) = \frac{P (X = x ∣ Y = y) f_{Y} (y)}{P (X = x)}

$f_{Y\mid X}(y \mid X = x) = \frac{P(X=x \mid Y = y) f_Y(y)}{P(X=x)}$

P (X = x ∣ Y = y) = \frac{f_{Y ∣ X} (y ∣ X = x) P (X = x)}{f_{Y} (y)}

$P(X=x \mid Y = y) = \frac{f_{Y\mid X}(y \mid X = x)P(X=x)}{f_Y(y)}$

Naturalmente, il modo moderno e rigoroso di gestire la probabilità è attraverso la teoria della misura. Per una definizione di precetto, vedi la risposta di Xi'an.

— Matthew Gunn
fonte

2

Si noti che l'articolo di Wikipedia utilizza effettivamente la seguente definizione: Cioè, esso considera il risultato come una densità, non una probabilità come lo hai tu. Quindi direi che hai ragione che non è definito quando è continuo e discreto, motivo per cui invece consideriamo solo densità di probabilità su in quel caso.

f_{X} (x | Y = y) = \frac{P (Y = y | X = x) f_{X} (x)}{p (Y = y)}

$f_X(x|Y=y) = \frac{P(Y=y|X=x)f_X(x)}{p(Y=y)}$

P (X = x | Y = y)

$P(X=x|Y=y)$

X

$X$

Y

$Y$

X

$X$

Modifica: a causa di una confusione sulla notazione (vedi commenti) quanto sopra in realtà si riferisce alla situazione opposta a quella che chiedeva l'uomo delle caverne.

— Ruben van Bergen
fonte

Come viene definito quando

Il mio tentativo