Legge della varianza totale come teorema di Pitagora

Supponiamo che $X$ e $Y$ abbiano un secondo momento finito. Nello spazio di Hilbert di variabili casuali con secondo momento finito (con prodotto interno di $T_1,T_2$ definito da , ), possiamo interpretare come la proiezione sullo spazio di funzioni di . $E(T_1T_2)$ $||T||^2=E(T^2)$ $E(Y|X)$ $Y$ $X$

Sappiamo anche che la Legge della varianza totale legge

V a r (Y) = E (V a r (Y | X)) + V a r (E (Y | X))

$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$

C'è un modo per interpretare questa legge in termini di figura geometrica sopra? Mi è stato detto che la legge è la stessa del Teorema di Pitagora per il triangolo rettangolo con i lati . Capisco perché il triangolo è ad angolo retto, ma non come il Teorema di Pitagora sta catturando la Legge della varianza totale. $Y, E(Y|X), Y-E(Y|X)$

variance conditional-expectation

— renrenthehamster
fonte

Risposte:

Suppongo che tu abbia dimestichezza con il triangolo rettangolo nel senso che $E[Y\mid X]$ e $Y - E[Y\mid X]$ sono variabili casuali non correlate . Per variabili casuali non correlate $A$ e $B$ ,

\begin{matrix} (1) & var (A + B) = var (A) + var (B), \end{matrix}

$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$ e quindi se impostiamo

A = Y - E [Y ∣ X]

$A = Y - E[Y\mid X]$ e

B = E [Y ∣ X]

$B = E[Y\mid X]$ modo che

A + B = Y

$A+B = Y$ , otteniamo quel

\begin{matrix} (2) & var (Y) = var (Y - E [Y ∣ X]) + var (E [Y ∣ X]) . \end{matrix}

$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$ Resta da mostrare quel

è uguale a

modo che possiamo ri-dichiarare

come

che è la formula della varianza totale.

var (Y - E [Y ∣ X])

$\operatorname{var}(Y-E[Y\mid X])$

E [var (Y ∣ X)]

$E[\operatorname{var}(Y\mid X)]$

(2)

$(2)$

\begin{matrix} (3) & var (Y) = E [var (Y ∣ X)] + var (E [Y ∣ X]) \end{matrix}

$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$

È noto che il valore atteso della variabile casuale è , cioè . Quindi vediamo che $E[Y\mid X]$ $E[Y]$ $E\biggr[E[Y\mid X]\biggr] = E[Y]$ da cui segue che , cioè Lascia che denoti la variabile casuale

E [UN] = E [Y - E [Y | X]] = E [Y] - E [E [Y | X]] = 0,

$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$

var (A) = E [A^{2}]

$\operatorname{var}(A) = E[A^2]$

\begin{matrix} (4) & var (Y - E [Y | X]) = E [(Y - E [Y | X])^{2}] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$

C

$C$

modo da poter scrivere quel

dove

(Y - E [Y ∣ X])^{2}

$(Y-E[Y\mid X])^2$

\begin{matrix} (5) & var (Y - E [Y | X]) = E [C] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$

E [C] = E [E [C ∣ X]]

$E[C] = E\biggr[E[C\mid X]\biggr]$

Ora,datoche

, la distribuzione condizionale di

ha la media

e quindi

In altre parole,

E [C ∣ X] = E [(Y - E [Y ∣ X])^{2} | X] .

$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$

X = x

$X = x$

Y

$Y$

E [Y ∣ X = x]

$E[Y\mid X=x]$

E [(Y - E [Y | X = X])^{2} | X = X] = var (Y | X = X) .

$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$

modo che lavariabile casuale

sia solo

. Quindi,

E [C ∣ X = x] = var (Y ∣ X = x)

$E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$

E [C ∣ X]

$E[C\mid X]$

var (Y ∣ X)

$\operatorname{var}(Y\mid X)$

\begin{matrix} (6) & E [C] = E [E [C | X]] = E [var (Y | X)], \end{matrix}

$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$ che dopo la sostituzione in

mostra che

Questo rende il lato destro di

esattamente ciò di cui abbiamo bisogno e quindi abbiamo dimostrato la formula della varianza totale

(5)

$(5)$

var (Y - E [Y | X]) = E [var (Y | X)] .

$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$

(2)

$(2)$

(3)

$(3)$

— Dilip Sarwate
fonte

Y - E (Y | X)

$Y-E(Y|X)$

v a r (Y - E (Y | X)) = E [Y - E (Y | X)]^{2}

$var(Y-E(Y|X))=E[Y-E(Y|X)]^2$

E v a r (Y | X) = E [E ((Y - E (Y | X))^{2} | X)] = E [Y - E (Y | X)]^{2}

$Evar(Y|X)=E[E((Y-E(Y|X))^2|X)]=E[Y-E(Y|X)]^2$

E [(Y - E [Y | X])^{2}]

$E\bigr[(Y-E[Y|X])^2\bigr ]$

Dilip, molti probabilisti interpreterebbero correttamente l'equazione di @ mpiktas come scritta; il set di parentesi extra viene spesso eliminato. Forse i miei occhi mi stanno ingannando, ma penso che la sua notazione sia coerente in tutto. Sono felice di aiutare a sistemare le cose, se lo si desidera, però. :-)

— cardinale

E X

$EX$

E X

$\mathbb EX$

X

$X$

E X^{2}

$EX^2$

v a r \dots

$var\ldots$

dichiarazione:

$T_1$ $T_2$ $\langle T_1,T_2\rangle = 0$

\begin{matrix} (1) & | | T_{1} + T_{2} | |^{2} = | | T_{1} | |^{2} + | | T_{2} | |^{2} . \end{matrix}

$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$

Il nostro caso:

$T_1 = E(Y|X)$ $T_2 = Y - E[Y|X]$ $||T_i||^2 = E[T_i^2]$ $\langle T_1,T_2\rangle = E[T_1T_2]$ $(1)$

\begin{matrix} (2) & E [Y^{2}] = E [{E (Y | X)}^{2}] + E [(Y - E [Y | X])^{2}], \end{matrix}

$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$

E [T_{1} T_{2}] = Cov (T_{1}, T_{2}) = 0

$E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$

(2)

$(2)$

$(E[Y])^2$ $\operatorname{Var}[Y]$
$E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$
$E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$

Per i dettagli su questi tre punti elenco, consultare il post di @ DilipSarwate. Spiega tutto questo in modo molto più dettagliato di me.

— Taylor
fonte