Perché la convoluzione funziona?

Quindi so che se vogliamo trovare la distribuzione di probabilità di una somma di variabili casuali indipendenti , possiamo calcolarla dalle distribuzioni di probabilità di e , dicendo $X + Y$ $X$ $Y$

f_{X + Y} (a) = \int_{x = - \infty}^{\infty} f_{X, Y} (X = x, Y = a - x) d x = \int_{x = - \infty}^{\infty} f_{X} (x) f_{Y} (a - x) d x

$f_{X + Y}(a) = \int_{x = -\infty}^{\infty} f_{X, Y}(X = x, Y = a - x)~dx = \int_{x = -\infty}^{\infty} f_X(x) f_Y(a - x)~dx$

Intuitivamente, questo ha un senso, perché se vogliamo trovare la probabilità che due variabili casuali somma , è fondamentalmente la somma delle probabilità di tutti gli eventi che portano a tali variabili sommatori ad . Ma come posso dimostrare formalmente questa affermazione? $a$ $a$

probability

— Jessica
fonte

Domanda leggermente diversa, ma la risposta è simile .

— Carl,

Risposte:

La soluzione più generale considera dove e non sono necessariamente indipendenti. Una strategia di soluzione comune per problemi in cui ti stai chiedendo da dove provenga un PDF o come giustificarlo, è invece trovare un cumulativo probabilmente, quindi differenziarlo per ridurre il CDF in PDF. $Z = X + Y$ $X$ $Y$

È abbastanza facile vedere che in quel caso dove è la regione del piano - per cui . $F_Z(z) = \mathrm{P}(Z \leq z) = \int \int_R f_{X,Y}(x,y)\,\mathrm{d}x\,\mathrm{d}y$ $R$ $x$ $y$ $x + y \leq z$

Questa è la regione tratteggiata in blu nel diagramma seguente. È naturale integrarsi in questa regione suddividendolo in strisce: l'ho fatto con strisce verticali, ma quelle orizzontali lo faranno. In effetti finisco con una striscia per ciascuna coordinata , che va da a , e lungo ogni striscia voglio che i valori non superino la linea , quindi . $x$ $-\infty$ $\infty$ $y$ $x + y = z$ $y \leq z - x$

z <x + y

Limiti ora abbiamo ottenuto di integrazione in termini di ed , possiamo fare una sostituzione , come segue, con l'obiettivo di ottenere apparire come limite superiore di . La matematica è semplice fintanto che capisci l' uso del giacobino per cambiare le variabili. $x$ $y$ $u=x$ $v=x+y$ $z$ $v$

F_{Z} (z) = \int_{x = - \infty}^{x = \infty} \int_{y = - \infty}^{y = z - x} f_{X, Y} (x, y) d x d y = \int_{v = - \infty}^{v = z} \int_{u = - \infty}^{y = \infty} f_{X, Y} (u, v - u) d u d v

$F_Z(z) = \int_{x = -\infty}^{x=\infty}\int_{y=-\infty}^{y=z-x}f_{X,Y}(x,y)\,\mathrm{d}x\,\mathrm{d}y = \int_{v = -\infty}^{v=z}\int_{u=-\infty}^{y=\infty}f_{X,Y}(u,v-u)\,\mathrm{d}u\,\mathrm{d}v$

Finché sono soddisfatte determinate condizioni possiamo differenziare sotto il segno integrale rispetto a per ottenere: $z$

f_{Z} (z) = \int_{- \infty}^{\infty} f_{X, Y} (u, z - u) d u

$f_Z(z) = \int_{-\infty}^{\infty}f_{X,Y}(u, z-u)\,\mathrm{d}u$

Funziona anche se e non sono indipendenti. Ma se lo sono, possiamo riscrivere la densità articolare come prodotto dei due marginali: $X$ $Y$

f_{Z} (z) = \int_{- \infty}^{\infty} f_{X} (u) f_{Y} (z - u) d u

$f_Z(z) = \int_{-\infty}^{\infty}f_X(u)f_Y(z-u)\,\mathrm{d}u$

La variabile fittizia può essere scritta senza danni come se lo si desidera. $u$ $x$

La mia notazione per gli integrali segue esattamente la Sezione 6.4 di Geoffrey Grimmett e Dominic Walsh, Probability: An Introduction , Oxford University Press, New York, 2000.

— pesciolino d'argento
fonte

+1 In termini di notazione, la convenzione è che il differenziale all'esterno dell'integrale multiplo si applica all'integrale esterno; quindi, in un'espressione della forma l'integrazione rispetto a viene fatta per prima - è l'integrale interno - e quella rispetto a è fatto per ultimo - è l'integrale esterno. Questo ci lascia liberi di posizionare le parentesi senza cambiare il significato, come in .

\iint \dots d x d y

$\iint \cdots \mathrm{d}x\,\mathrm{d} y$

x

$x$

y

$y$

\int (\int \dots d x) d y

$\int\left(\int \cdots \mathrm{d}x\right)\mathrm{d}y$

— whuber

@whuber, a pensarci bene, questa è certamente la convenzione che viene applicata praticamente in tutti i libri di testo che conosco (quindi l'integrazione multipla è in realtà integrali nidificati). Ma sfogliando, Grimmett e Welsh "Probabilità: un'introduzione" sono assolutamente coerenti con la propria convenzione dello stesso ordine sinistra-destra sia per i limiti che per i differenziali, per esempio danno !

\int_{u} \int_{v} \int_{w} . . . d u d v d w

$\int_u \int_v \int_w ... du\,dv\,dw$

— Silverfish,

Sono costantemente divertito da come, all'intersezione di molti campi, siamo esposti a convenzioni contrastanti. È una delle gioie di lavorare con persone di diversa estrazione.

— whuber

@whuber Sono consapevole del fatto che le convenzioni per la definizione degli integrali variano notevolmente tra i vari Paesi: questo ti piacerà da Tex SE tex.stackexchange.com/a/88961/25866 e vorrei che fosse ampliato per coprire l'integrazione multipla!

— Silverfish,

L'affermazione è vera se e solo se il lato destro si comporta come una densità per ; questo è, $X+Y$

F_{X + Y} (a) = P (X + Y \leq a) = \int_{- \infty}^{a} f_{X + Y} (z) d z = \int_{- \infty}^{a} (\int f_{X} (x) f_{Y} (z - x) d x) d z

$F_{X+Y}(a)=\mathbb{P}(X+Y\le a) = \int_{-\infty}^a f_{X+Y}(z)\,\mathrm{d}z = \int_{-\infty}^a \left(\int f_X(x) f_Y(z-x)\,\mathrm{d}x\right)\mathrm{d}z$

per tutti . Verifica questo iniziando dal lato destro. $a$

Applica il teorema di Fubini per cambiare l'ordine di integrazione e fare la sostituzione . Il determinante del suo giacobino è , quindi non vengono introdotti termini aggiuntivi da questo cambiamento di variabili. Si noti che poiché ed sono in uno-a-uno corrispondenza e se e solo se , possiamo riscrivere l'integrale come $z = x+y$ $1$ $z$ $y$ $-\infty \lt z \le a$ $-\infty \lt y \lt a-x$

= \int (\int_{- \infty}^{a - x} f_{X} (x) f_{Y} (y) d y) d x .

$=\int \left(\int_{-\infty}^{a-x}f_X(x)f_Y(y)\,\mathrm{d} y\right)\mathrm{d}x.$

Per definizione questo è l'integrale over di $\mathbb{R}^2$

= \iint I (x + y \leq a) f_{X} (x) f_{Y} (y) d y d x

$=\iint I(x+y\le a)f_X(x)f_Y(y)\,\mathrm{d}y\,\mathrm{d}x$

dove è la funzione indicatore di un set. Infine, poiché e sono indipendenti, per tutti , rivelando l'integrale come mera aspettativa $I$ $X$ $Y$ $f_{(X,Y)}(x,y) = f_X(x)f_Y(y)$ $(x,y)$

= \iint I (x + y \leq a) f_{(X, Y)} (x, y) d y d x = E (I (X + Y \leq a)) = P (X + Y \leq a),

$=\iint I(x+y\le a)f_{(X,Y)}(x,y)\,\mathrm{d}y\,\mathrm{d}x = \mathbb{E}(I(X+Y\le a))=\mathbb{P}(X+Y\le a),$

come desiderato.

Più in generale, anche quando uno o entrambi o non hanno una funzione di distribuzione, possiamo ancora ottenere $X$ $Y$

F_{X + Y} (a) = E_{X} (F_{Y} (a - X)) = E_{Y} (F_{X} (a - Y))

$F_{X+Y}(a) = \mathbb{E}_X\left(F_Y(a-X)\right) = \mathbb{E}_Y\left(F_X(a-Y)\right)$

direttamente dalle definizioni di base, usando le aspettative degli indicatori per andare avanti e indietro tra le probabilità e le aspettative e sfruttando il presupposto di indipendenza per spezzare il calcolo in aspettative separate rispetto a e : $X$ $Y$

\begin{aligned} P (X + Y \leq a) & = E (I (X + Y \leq a)) \\ = E_{X} (E_{Y} (I (X + Y \leq a)) \\ = E_{X} (P_{Y} (Y \leq a - X)) \\ = E_{X} (F_{Y} (a - X)) . \end{aligned}

$\eqalign{ \mathbb{P}(X+Y\le a) &= \mathbb{E}(I(X+Y\le a)) \\ &= \mathbb{E}_X\left(\mathbb{E}_Y(I(X+Y\le a)\right) \\ &= \mathbb{E}_X\left(\mathbb{P}_Y(Y\le a-X)\right) \\ &=\mathbb{E}_X(F_Y(a-X)). }$

Ciò include le solite formule per variabili casuali discrete, ad esempio, sebbene in una forma leggermente diversa dal solito (perché è indicato in termini di CDF piuttosto che di funzioni di massa di probabilità).

Se hai un teorema abbastanza forte sull'interscambio di derivati e integrali, puoi differenziare entrambi i lati rispetto a per ottenere la densità in un colpo, $a$ $f_{X+Y}$

\begin{aligned} f_{X + Y} (a) & = \frac{d}{d a} F_{X + Y} (a) = E_{X} (\frac{d}{d a} F_{Y} (a - X)) = E_{X} (f_{Y} (a - X)) \\ = \int f_{X} (x) f_{Y} (a - x) d x . \end{aligned}

$\eqalign{ f_{X+Y}(a) &= \frac{\mathrm{d}}{\mathrm{d}a} F_{X+Y}(a) =\mathbb{E}_X\left(\frac{\mathrm{d}}{\mathrm{d}a} F_Y(a-X)\right) = \mathbb{E}_X \left(f_Y(a-X)\right) \\ &= \int f_X(x) f_Y(a-x) \,\mathrm{d} x. }$

— whuber
fonte