Una generalizzazione della legge delle aspettative iterate

43

Di recente mi sono imbattuto in questa identità:

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

Ho ovviamente familiarità con la versione più semplice di quella regola, ovvero che ma non sono riuscito a trovare la giustificazione per la sua generalizzazione. $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$

Le sarei grato se qualcuno potesse indicarmi un riferimento non così tecnico per quel fatto o, ancora meglio, se qualcuno potesse fornire una semplice prova per questo importante risultato.

self-study conditional-probability conditional-expectation

— Jöhnk
fonte

2

Se fosse esso stesso condizionato su alcuni , questo non sarebbe esattamente fuori dalla versione più semplice?

y

$y$

x

$x$

— Mehrdad,

36

TRATTAMENTO INFORMALE

Dobbiamo ricordare che la notazione in cui ci condizioniamo su variabili casuali è inaccurata, sebbene economica, come notazione. In realtà condizioniamo sulla sigma-algebra che generano queste variabili casuali. In altre parole, $E[Y\mid X]$ significa $E[Y\mid \sigma(X)]$ . Questa osservazione può sembrare fuori posto in un "Trattamento informale", ma ci ricorda che le nostre entità condizionanti sono raccolte di insiemi (e quando condizioniamo su un singolo valore, allora questo è un insieme singleton). E cosa contengono questi set? Contengono le informazionicon cui i valori possibili della variabile casuale $X$ ci forniscono su ciò che può accadere con la realizzazione di $Y$ .
Introdurre il concetto di Informazione, ci permette di pensare (e usare) la Legge delle aspettative iterate (a volte chiamata "Proprietà della Torre") in un modo molto intuitivo:
la sigma-algebra generata da due variabili casuali, è almeno come grande come quello generato da una variabile casuale: $\sigma (X) \subseteq \sigma(X,Z)$ nel significato proprio set-teorico. Quindi le informazioni su $Y$ contenute in $\sigma(X,Z)$ è grande almeno quanto le informazioni corrispondenti in $\sigma (X)$ .
Ora, come allusione notazionale, imposta $\sigma (X) \equiv I_x$ e $\sigma(X,Z) \equiv I_{xz}$ . Quindi è possibile scrivere l'LHS dell'equazione che stiamo osservando

Descrivendo verbalmente l'espressione precedente abbiamo: "qual è l'aspettativa di {il valore atteso di dato Informazioni } dato che abbiamo informazioni disponibilisolo ?"

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

Possiamo in qualche modo "prendere in considerazione" ? No - sappiamo solo . Ma se usiamo ciò che abbiamo (poiché siamo obbligati dall'espressione che vogliamo risolvere), allora essenzialmente diciamo cose su sotto l'operatore delle aspettative, cioè diciamo " ", non più - abbiamo appena esaurito le nostre informazioni. $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

Quindi

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

Se qualcun altro non lo farà, tornerò per il trattamento formale.

UN TRATTAMENTO FORMALE (poco più)

Vediamo come due libri molto importanti di teoria della probabilità, Probability and Measure di P. Billingsley (3d ed.-1995) e D. Williams "Probability with Martingales" (1991), trattano la questione della dimostrazione della "Legge delle aspettative alterate":
Billingsley dedica esattamente tre righe alla dimostrazione. Williams, e cito, dice

"(la proprietà della torre) è praticamente immediato dalla definizione di aspettativa condizionale".

Questa è una riga di testo. La prova di Billingsley non è meno opaca.

Ovviamente hanno ragione: questa proprietà importante e molto intuitiva delle aspettative condizionate deriva essenzialmente direttamente (e quasi immediatamente) dalla sua definizione: l'unico problema è, sospetto che questa definizione non sia di solito insegnata, o almeno non evidenziata, al di fuori della probabilità o misurare i circoli teorici. Ma per mostrare in (quasi) tre righe che la Legge delle aspettative iterate tiene, abbiamo bisogno della definizione di aspettativa condizionale, o meglio, della sua proprietà che definisce .

Lasciare uno spazio di probabilità , e una variabile casuale integrabile . Lasciate che sia un sub -algebra di , . Quindi esiste una funzione che è misurabile, integrabile e (questa è la proprietà che definisce) $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

dove è la funzione indicatrice dell'insieme . Diciamo che è ("una versione di") l'attesa condizionale di dato , e scriviamo $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ Il dettaglio importante notare qui è che l'aspettativa condizionale, ha lo stesso valore atteso come fa, non solo su tutta ,ma in ogni sottoinsieme di . $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

(Proverò ora a presentare come la proprietà Tower deriva dalla definizione di aspettativa condizionale).

è unavariabile casuale misurabileConsideriamo poi alcuni sub -algebra, dire . Poi . Quindi, in modo analogo come in precedenza, abbiamo l'aspettativa condizionale di dato , diciamo $W$ $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ che è caratterizzato da $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

Da , le equazioni e ci danno $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

Ma questa è una caratteristica distintiva del valore atteso condizionato di dato . $Y$ $\mathcal H$ Quindi abbiamo il diritto di scrivere Dato che abbiamo anche per costruzione , abbiamo appena dimostrato la proprietà della Torre, o la forma generale della Legge delle aspettative iterate - in otto righe. $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— Alecos Papadopoulos
fonte

6

(+1) Questo è un modo utile per descrivere un concetto astratto e difficile. Credo, tuttavia, che la frase "... non è più grande ..." dovrebbe essere "non è più piccola". Meglio ancora, quella sezione potrebbe essere resa più chiara rimuovendo i negativi e usando una costruzione parallela, come in "L'algebra sigma generata da due variabili è almeno grande quanto quella generata da una variabile casuale ... Quindi le informazioni su

contenute in

è grande almeno quanto le informazioni corrispondenti in

. "

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

— whuber

Grazie ad entrambi, cc @whuber. Questo è un teorema molto utile.

— JohnK,

@ whuber Grazie per aver individuato questo e per il suggerimento.

— Alecos Papadopoulos,

24

Il modo in cui comprendo le aspettative condizionali e insegno ai miei studenti è il seguente:

aspettativa condizionale è una foto scattata da una fotocamera con risoluzione $E[Y|\sigma(X)]$ $\sigma(X)$

Come menzionato da Alecos Papadopoulos, la notazione è più preciso di . Lungo la linea della macchina fotografica, si può pensare a come l'oggetto originale, ad esempio un paesaggio, uno scenario. è una foto scattata da una fotocamera con risoluzione $E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$ . L'aspettativa è un operatore di media (operatore "sfocato"?). Lo scenario può contenere molte cose, ma l'immagine che hai scattato usando una fotocamera a bassa risoluzione farà sicuramente sparire alcuni dettagli, ad esempio, potrebbe esserci un UFO nel cielo che può essere visto a occhio nudo ma non lo fa appare nella tua foto scattata da (iphone 3?)

Se la risoluzione è così alta che , questa immagine è in grado di catturare ogni dettaglio del vero scenario. In questo caso, abbiamo . $\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

Ora, può essere visualizzato come: utilizzando un'altra fotocamera con risoluzione (ad es. iphone 1) che è inferiore a (ad es. iphone 3) e scatta una foto sull'immagine generata da fotocamera con risoluzione , quindi dovrebbe essere chiaro $E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ questa immagine su un'immagine dovrebbe essere la stessa di una fotocamera con bassa risoluzione sullo scenario. $\sigma(X)$

Questo fornisce intuizione su . In effetti questa stessa intuizione ci dice che $E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$ ancora. Questo perché: se la tua prima foto è stata scattata da iPhone 1 (ovvero, a bassa risoluzione), e ora vuoi usare una fotocamera migliore (ad esempio, iPhone 3) per generare un'altra foto sulla prima foto, allora non c'è modo può migliorare la qualità della prima foto.

— KevinKim
fonte

2

lo adoro! :) ottima spiegazione.

— jessica,

1

@jessica Sono contento che aiuti :-) Mi ci è voluto un po 'di tempo per trovare questa spiegazione

— KevinKim

21

Nella Legge dell'attesa Iterata (LIE), , quell'aspettativa interiore è una variabile casuale che sembra essere una funzione di , diciamo , e non un funzione di . Che l'attesa di questa funzione di sia uguale all'aspettativa di è una conseguenza di una BUGIA. Tutto ciò è, agitando la mano, solo l'affermazione che il valore medio di può essere trovato in media $E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ i valori medi di in varie condizioni. In effetti, è tutto solo una conseguenza diretta della legge della probabilità totale. Ad esempio, se e sono variabili casuali discrete con giunto pmf , quindi $Y$ $X$ $Y$ $p_{X,Y}(x,y)$ Nota come è l'ultima aspettativa rispetto a; è una funzione di, non di, ma tuttavia la sua media è la stessa come la media di.

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$

X

$X$

Y

$Y$

Y

$Y$

La menzogna generalizzata che si sta guardando ha sul sinistro in cui l'aspettativa interna è una funzione di due variabili casuali e . L'argomento è simile a quello delineato sopra, ma ora dobbiamo dimostrare che la variabile casuale uguale a un'altra variabile casuale. Lo facciamo osservando il valore di $E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ quando ha il valore . Saltando le spiegazioni, abbiamo che $E[Y\mid X]$ $X$ $x$ Nota che il penultimo lato destro è la formula per ilvalore atteso condizionaledella variabile casuale(una funzione die) condizionatadal valore di. Stiamo fissandoper avere valore, moltiplicando i valori della variabile casuale

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$

X

$X$

X

$X$

x

$x$

dalvalore pmfcondizionaledi

dato

, e sommando tutti questi termini.

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

Pertanto, per ciascun valore della variabile casuale , il valore della variabile casuale (che abbiamo notato in precedenza è una funzione di , non di ), è uguale al valore della variabile casuale , cioè queste due variabili casuali sono uguali. Ti mentirei? $x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— Dilip Sarwate
fonte