Intuizione (geometrica o altro) di

18

Considera l'identità elementare della varianza:

\begin{array}{rcl} V a r (X) & = & E [(X - E [X])^{2}] \\ = & . . . \\ = & E [X^{2}] - (E [X])^{2} \end{array}

$\begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray}$

È una semplice manipolazione algebrica della definizione di un momento centrale in momenti non centrali.

Consente una comoda manipolazione di in altri contesti. Consente inoltre il calcolo della varianza tramite un singolo passaggio sui dati anziché due passaggi, prima per calcolare la media, quindi per calcolare la varianza. $Var(X)$

Ma cosa significa ? Per me non esiste un'intuizione geometrica immediata che mette in relazione la diffusione sulla media per diffondersi intorno a 0. Dato che è un insieme su una singola dimensione, come vedi la diffusione attorno a una media come la differenza tra la diffusione attorno all'origine e il quadrato del significare? $X$

Esistono buone interpretazioni algebriche lineari o interpretazioni fisiche o altro che possano dare un'idea di questa identità?

variance descriptive-statistics intuition

— Mitch
fonte

7

Suggerimento: questo è il teorema di Pitagora.

— whuber

1

@Matthew Mi chiedo cosa significhi " ". Sospetto che non sia un'aspettativa, ma solo una scorciatoia per la media aritmetica. Altrimenti le equazioni sarebbero errate (e quasi prive di significato, poiché avrebbero quindi equiparato le variabili casuali con i numeri).

E

$E$

— whuber

2

@whuber Poiché i prodotti interni introducono l'idea di distanze e angoli, e il prodotto interno dello spazio vettoriale delle variabili casuali a valore reale è definito come (?), mi chiedo se un'intuizione geometrica possa essere data tramite la disuguaglianza del triangolo. Non ho idea di come procedere, ma mi chiedevo se avesse un senso.

E [X Y]

$\mathbb E[XY]$

— Antoni Parellada,

1

@Antoni La disuguaglianza del triangolo è troppo generale. Un prodotto interno è un oggetto molto più speciale. Fortunatamente, l'intuizione geometrica appropriata è precisamente quella della geometria euclidea. Inoltre, anche nel caso di variabili casuali

e

, la geometria necessaria può essere limitata allo spazio vettoriale reale bidimensionale generato da

e

: cioè sul piano euclideo stesso. Nella presente istanza

non sembra essere un camper: è solo un

vettore. Qui, lo spazio attraversato da

e

X

$X$

Y

$Y$

X

$X$

Y

$Y$

X

$X$

n

$n$

X

$X$

(1, 1, \dots, 1)

$(1,1,\ldots, 1)$ è il piano euclideo in cui avviene tutta la geometria.

— whuber

3

Impostazione

nella risposta ho collegato a, e dividendo tutti i termini da

(se lo si desidera) vi darà la soluzione algebrica completa per la varianza: non c'è alcun motivo per copiare tutto da capo. Questo perché

è la media aritmetica di

, dove

è solo

volte la varianza come è stata definita qui,

è

volte la media aritmetica al quadrato e

{\hat{β}}_{1} = 0

$\hat\beta_1=0$

n

$n$

{\hat{β}}_{0}

$\hat\beta_0$

y

$y$

| | y - \hat{y} | |^{2}

$||y-\hat y||^2$

n

$n$

| | \hat{y} | |^{2}

$||\hat y||^2$

n

$n$

è

volte la media aritmetica dei valori quadrati.

| | y | |^{2}

$||y||^2$

n

$n$

— whuber

21

Espandendo il punto @ whuber nei commenti, se e sono ortogonali, si ha il Teorema di Pitagora : $Y$ $Z$

‖ Y ‖^{2} + ‖ Z ‖^{2} = ‖ Y + Z ‖^{2}

$\|Y\|^2 + \|Z\|^2 = \|Y + Z\|^2$

Osserva che è un prodotto interno valido e che è la norma indotta da quel prodotto interno . $\langle Y, Z \rangle \equiv \mathrm{E}[YZ]$ $\|Y\| = \sqrt{\mathrm{E}[Y^2]}$

Lascia che sia una variabile casuale. Sia , Sia . Se e sono ortogonali: $X$ $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$ $Y$ $Z$

\begin{aligned} ‖ Y ‖^{2} + ‖ Z ‖^{2} = ‖ Y + Z ‖^{2} \\ \Leftrightarrow & E [E [X]^{2}] + E [(X - E [X])^{2}] = E [X^{2}] \\ \Leftrightarrow & {E [X]}^{2} + V a r [X] = E [X^{2}] \end{aligned}

$\begin{align*} & \|Y\|^2 + \|Z\|^2 = \|Y + Z\|^2 \\ \Leftrightarrow \quad&\mathrm{E}[\mathrm{E}[X]^2] + \mathrm{E}[(X - \mathrm{E}[X])^2] = \mathrm{E}[X^2] \\ \Leftrightarrow \quad & \mathrm{E[X]}^2 + \mathrm{Var}[X]= \mathrm{E}[X^2] \end{align*}$

Ed è facile dimostrare che e sono ortogonali sotto questo prodotto interno: $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$

⟨ Y, Z ⟩ = E [E [X] (X - E [X])] = E [X]^{2} - E [X]^{2} = 0

$\langle Y, Z \rangle = \mathrm{E}[\mathrm{E}[X]\left(X - \mathrm{E}[X] \right)] = \mathrm{E}[X]^2 - \mathrm{E}[X]^2 = 0$

Una delle gambe del triangolo è , l'altra gamba è , e l'ipotenusa è . E il teorema di Pitagora può essere applicato perché una variabile casuale sminuita è ortogonale alla sua media. $X - \mathrm{E}[X]$ $\mathrm{E}[X]$ $X$

Osservazione tecnica:

$Y$ in questo esempio dovrebbe davvero essere il vettore , ovvero lo scalare volte il vettore costante (ad esempio nel caso esito discreto e finito). è la proiezione vettoriale di sul vettore costante . $Y = \mathrm{E}[X] \mathbf{1}$ $\mathrm{E}[X]$ $\mathbf{1}$ $\mathbf{1} = [1, 1, 1, \ldots, 1]'$ $Y$ $X$ $\mathbf{1}$

Esempio semplice

Considera il caso in cui è una variabile casuale di Bernoulli dove . Abbiamo: $X$ $p = .2$

X = [\begin{matrix} 1 \\ 0 \end{matrix}] P = [\begin{matrix} .2 \\ .8 \end{matrix}] E [X] = \sum_{i} P_{i} X_{i} = .2

$X = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \quad P = \begin{bmatrix} .2 \\ .8 \end{bmatrix} \quad \mathrm{E}[X] = \sum_i P_iX_i = .2$

Y = E [X] 1 = [\begin{matrix} .2 \\ .2 \end{matrix}] Z = X - E [X] = [\begin{matrix} .8 \\ - .2 \end{matrix}]

$Y = \mathrm{E}[X]\mathbf{1} = \begin{bmatrix} .2 \\ .2 \end{bmatrix} \quad Z = X - \mathrm{E}[X] = \begin{bmatrix} .8 \\ -.2 \end{bmatrix}$

E l'immagine è:

La grandezza quadrata del vettore rosso è la varianza di , la grandezza quadrata del vettore blu è , e la grandezza quadrata del vettore giallo è . $X$ $\mathrm{E}[X]^2$ $\mathrm{E}[X^2]$

RICORDA però che queste magnitudini, l'ortogonalità ecc ... non sono rispetto al solito punto prodotto ma al prodotto interno . La grandezza del vettore giallo non è 1, è .2. $\sum_i Y_iZ_i$ $\sum_i P_iY_iZ_i$

Il vettore rosso e il vettore blu sono perpendicolari sotto il prodotto interno ma non sono perpendicolari nell'intro, senso della geometria del liceo. Ricorda che non stiamo usando il solito punto prodotto come prodotto interno! $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$ $\sum_i P_i Y_i Z_i$ $\sum_i Y_i Z_i$

— Matthew Gunn
fonte

Questo è davvero buono!

— Antoni Parellada,

1

Buona risposta (+1), ma manca di una cifra, e potrebbe anche essere un po 'di confusione per OP perché la tua Z è la loro X ...

— ameba dice Reinstate Monica

@MatthewGunn, ottima risposta. puoi controllare la mia risposta qui sotto per una rappresentazione in cui l'ortogonalità è nel senso euclideo.

— YBE

Odio essere ottuso, ma ho problemi a mantenere , e la direzione della logica dritti ("perché" arriva in posti che non hanno senso per me). Sembra che molti fatti (ben documentati) siano dichiarati casualmente. In quale spazio si trova il prodotto interno? Perchè 1 ?

Z

$Z$

V a r (X)

$Var(X)$

— Mitch

@Mitch L'ordine logico è: (1) Osserva che uno spazio probabilità definisce uno spazio vettoriale; possiamo trattare variabili casuali come vettori. (2) Definire il prodotto interno delle variabili casuali e come . Nello spazio interno di un prodotto, i vettori e sono definiti ortogonali se il loro prodotto interno è zero. (3a) Sia una variabile casuale. (3b) Sia e . (4) Osservare che e definiti in questo modo sono ortogonali. (5) Da e

Y

$Y$

Z

$Z$

E [Y Z]

$E[YZ]$

Y

$Y$

Z

$Z$

X

$X$

Y = E [X]

$Y = E[X]$

Z = X - E [X]

$Z = X - E[X]$

Y

$Y$

Z

$Z$

Y

$Y$

Z

$Z$ sono ortogonali, si applica il teorema di Pitagora (6) Per semplice algebra, il teorema di Pitagora è equivalente all'identità.

— Matthew Gunn,

7

Proverò un approccio puramente geometrico per uno scenario molto specifico. Consideriamo una variabile casuale valutata discreta che assume valori con probabilità . Supponiamo inoltre che questa variabile casuale possa essere rappresentata in come un vettore, . $X$ $\{x_1,x_2\}$ $(p_1,p_2)$ $\mathbb{R}^2$ $\mathbf{X} = \left(x_1\sqrt{p_1},x_2\sqrt{p_2} \right)$

Si noti che il quadrato di lunghezza di è che è uguale a . Pertanto, . $\mathbf{X}$ $x_1^2p_1+x_2^2p_2$ $E[X^2]$ $\left\| \mathbf{X} \right\| = \sqrt{E[X^2]}$

Poiché , la punta del vettore traccia effettivamente un'ellisse. Questo diventa più facile da vedere se si riparametrizza e come e . Quindi, abbiamo e . $p_1+p_2=1$ $\mathbf{X}$ $p_1$ $p_2$ $\cos^2(\theta)$ $\sin^2(\theta)$ $\sqrt{p_1} =\cos(\theta)$ $\sqrt{p_2} = \sin(\theta)$

Un modo di disegnare ellissi è tramite un meccanismo chiamato Trammel di Archimede . Come descritto nel wiki: consiste di due navette che sono confinate ("tramate") su canali o binari perpendicolari e una barra che è fissata alle navette da perni in posizioni fisse lungo la barra. Mentre le navette si muovono avanti e indietro, ciascuna lungo il suo canale, l'estremità dell'asta si muove in un percorso ellittico. Questo principio è illustrato nella figura seguente.

Ora analizziamo geometricamente un'istanza di questo tramaglio quando la navetta verticale è su e la navetta orizzontale su formando un angolo di . A causa della costruzione, e , (qui è assunto wlog). $A$ $B$ $\theta$ $\left|BX\right| = x_2$ $\left| AB \right| = x_1-x_2$ $\forall \theta$ $x_1\geq x_2$

Tracciamo una linea dall'origine, , che è perpendicolare all'asta. Si può dimostrare che . Per questa specifica variabile casuale $OC$ $\left| OC \right|=(x_1-x_2) \sin(\theta) \cos(\theta)$ Pertanto, la distanza perpendicolaredall'origine all'asta è effettivamente uguale alla deviazione standard,.

\begin{array}{rcl} V a r (X) & = & (x_{1}^{2} p_{1} + x_{2}^{2} p_{2}) - (x_{1} p_{1} + x_{2} p_{2})^{2} \\ = & x_{1}^{2} p_{1} + x_{2}^{2} p_{2} - x_{1}^{2} p_{1}^{2} - x_{2}^{2} p_{2}^{2} - 2 x_{1} x_{2} p_{1} p_{2} \\ = & x_{1}^{2} (p_{1} - p_{1}^{2}) + x_{2}^{2} (p_{2} - p_{2}^{2}) - 2 x_{1} x_{2} p_{1} p_{2} \\ = & p_{1} p_{2} (x_{1}^{2} - 2 x_{1} x_{2} + x_{2}^{2}) \\ = & {[(x_{1} - x_{2}) \sqrt{p_{1}} \sqrt{p_{2}}]}^{2} = {| O C |}^{2} \end{array}

$\begin{eqnarray} Var(X) &=& (x_1^2p_1 +x_2^2p_2) - (x_1p_1+x_2p_2)^2 \\ &=& x_1^2p_1 +x_2^2p_2 - x_1^2p_1^2 - x_2^2p_2^2 - 2x_1x_2p_1p_2 \\ &=& x_1^2(p_1-p_1^2) + x_2^2(p_2-p_2^2) - 2x_1x_2p_1p_2 \\ &=& p_1p_2(x_1^2- 2x_1x_2 + x_2^2) \\ &=& \left[(x_1-x_2)\sqrt{p_1}\sqrt{p_2}\right]^2 = \left|OC \right|^2 \end{eqnarray}$

| O C |

$\left|OC \right|$

σ

$\sigma$

Se calcoliamo la lunghezza del segmento da a : $C$ $X$

\begin{array}{rcl} | C X | & = & x_{2} + (x_{1} - x_{2}) \cos^{2} (θ) \\ = & x_{1} \cos^{2} (θ) + x_{2} \sin^{2} (θ) \\ = & x_{1} p_{1} + x_{2} p_{2} = E [X] \end{array}

$\begin{eqnarray} \left|CX\right| &=& x_2 + (x_1-x_2)\cos^2(\theta) \\ &=& x_1\cos^2(\theta) +x_2\sin^2(\theta) \\ &=& x_1p_1 + x_2p_2 = E[X] \end{eqnarray}$

Applicando il teorema di Pitagora nel triangolo OCX, finiamo con

E [X^{2}] = V a r (X) + E [X]^{2} .

$\begin{equation} E[X^2] = Var(X) + E[X]^2. \end{equation}$

Riassumendo , per un tram che descriva tutte le possibili variabili casuali a valore discreto che assumono valori , $\{x_1,x_2\}$ è la distanza dall'origine alla punta del meccanismo e la deviazione standardè la distanza perpendicolare all'asta. $\sqrt{E[X^2]}$ $\sigma$

Nota : Notare che quando è o , è completamente deterministico. Quando è finiamo con la massima varianza. $\theta$ $0$ $\pi/2$ $X$ $\theta$ $\pi/4$

— YBE
fonte

1

+1 bella risposta. E moltiplicare i vettori per il quadrato delle probabilità è un trucco utile / utile per rendere ortogonale la solita nozione probabilistica di ortogonalità!

— Matthew Gunn,

Ottima grafica. Tutti i simboli hanno un senso (il tramaglio che descrive un'ellisse e poi il Pitagorico si applica) ma in qualche modo non sto ottenendo intuitivamente come mi dà un'idea di come 'magicamente' collega i momenti (la diffusione e il centro.

— Mitch

considera il trammel come un processo che definisce tutte le possibili variabili casuali

valutate. Quando l'asta è orizzontale o verticale hai un camper deterministico. Nel mezzo c'è casualità e si scopre che nella mia struttura geometrica proposta come casuale un RV (il suo std) viene misurato esattamente dalla distanza dell'asta rispetto all'origine. Potrebbe esserci una relazione più profonda qui poiché le curve ellittiche collegano vari oggetti in matematica, ma io non sono un matematico, quindi non riesco davvero a vedere quella connessione.

(x_{1}, x_{2})

$(x_1,x_2)$

— YBE

3

È possibile riorganizzare come segue:

\begin{array}{rcl} V a r (X) & = & E [X^{2}] - (E [X])^{2} \\ E [X^{2}] & = & (E [X])^{2} + V a r (X) \end{array}

$\begin{eqnarray} Var(X) &=& E[X^2] - (E[X])^2\\ E[X^2] &=& (E[X])^2 + Var(X) \end{eqnarray}$

Quindi, interpretare come segue: il quadrato atteso di una variabile casuale è uguale al quadrato della sua media più la deviazione quadrata prevista dalla sua media.

— Lam
fonte

Oh. Huh. Semplice. Ma i quadrati sembrano ancora un po 'non interpretati. Voglio dire, ha senso (una specie, estremamente vagamente) senza i quadrati.

— Mitch,

3

Non sono venduto su questo.

— Michael R. Chernick,

1

Se si applica il teorema di Pitagora, qual è il triangolo con quali lati e come sono perpendicolari le due gambe?

— Mitch

1

Scusate se non ho la capacità di elaborare e fornire una risposta adeguata, ma penso che la risposta risieda nel concetto di meccanica fisica classica dei momenti, in particolare la conversione tra momenti "grezzi" centrati su 0 e momenti centrali centrati sul significato. Tieni presente che la varianza è il momento centrale del secondo ordine di una variabile casuale.

— S. Diaxo
fonte

1

L'intuizione generale è che è possibile mettere in relazione questi momenti usando il Teorema di Pitagora (PT) in uno spazio vettoriale adeguatamente definito, mostrando che due dei momenti sono perpendicolari e il terzo è l'ipotenusa. L'unica algebra necessaria è dimostrare che le due gambe sono effettivamente ortogonali.

Per il seguente motivo, supporrò che intendevi medie di esempio e variazioni per scopi di calcolo piuttosto che momenti per distribuzioni complete. Questo è:

\begin{array}{rcll} E [X] & = & \frac{1}{n} \sum x_{i}, & m e a n, f i r s t c e n t r a l s a m p l e m o m e n t \\ E [X^{2}] & = & \frac{1}{n} \sum x_{i}^{2}, & s e c o n d s a m p l e m o m e n t (n o n - c e n t r a l) \\ V a r (X) & = & \frac{1}{n} \sum (x_{i} - E [X])^{2}, & v a r i a n c e, s e c o n d c e n t r a l s a m p l e m o m e n t \end{array}

$\begin{array}{rcll} E[X] &=& \frac{1}{n}\sum x_i,& \rm{mean, first\ central\ sample\ moment}\\ E[X^2] &=& \frac{1}{n}\sum x^2_i,& \rm{second\ sample\ moment\ (non-central)}\\ Var(X) &=& \frac{1}{n}\sum (x_i - E[X])^2,& \rm{variance, second\ central\ sample\ moment} \end{array}$

(dove tutte le somme sono oltre elementi). $n$

Per riferimento, la prova elementare di è solo un simbolo che spinge: $Var(X) = E[X^2] - E[X]^2$

\begin{array}{rcl} V a r (X) & = & \frac{1}{n} \sum (x_{i} - E [X])^{2} \\ = & \frac{1}{n} \sum (x_{i}^{2} - 2 E [X] x_{i} + E [X]^{2}) \\ = & \frac{1}{n} \sum x_{i}^{2} - \frac{2}{n} E [X] \sum x_{i} + \frac{1}{n} \sum E [X]^{2} \\ = & E [X^{2}] - 2 E [X]^{2} + \frac{1}{n} n E [X]^{2} \\ = & E [X^{2}] - E [X]^{2} \end{array}

$\begin{eqnarray} Var(X) &=& \frac{1}{n}\sum (x_i - E[X])^2\\ &=& \frac{1}{n}\sum (x^2_i - 2 E[X]x_i + E[X]^2)\\ &=& \frac{1}{n}\sum x^2_i - \frac{2}{n} E[X] \sum x_i + \frac{1}{n}\sum E[X]^2\\ &=& E[X^2] - 2 E[X]^2 + \frac{1}{n} n E[X]^2\\ &=& E[X^2] - E[X]^2\\ \end{eqnarray}$

C'è poco significato qui, solo manipolazione elementare dell'algebra. Si potrebbe notare che è una costante all'interno della somma, ma questo è tutto. $E[X]$

Ora nello spazio vettoriale / interpretazione geometrica / intuizione, ciò che mostreremo è l'equazione leggermente riorganizzata che corrisponde a PT, che

\begin{array}{rcl} V a r (X) + E [X]^{2} & = & E [X^{2}] \end{array}

$\begin{eqnarray} Var(X) + E[X]^2 &=& E[X^2] \end{eqnarray}$

Quindi considera , il campione di elementi, come un vettore in . E creiamo due vettori e . $X$ $n$ $\mathbb{R}^n$ $E[X]{\bf 1}$ $X-E[X]{\bf 1}$

Il vettore ha la media del campione come ciascuna delle sue coordinate. $E[X]{\bf 1}$

Il vettore è . $X-E[X]{\bf 1}$ $\langle x_1-E[X], \dots, x_n-E[X]\rangle$

Questi due vettori sono perpendicolari perché il prodotto punto dei due vettori risulta essere 0:

\begin{array}{rcl} E [X] 1 \cdot (X - E [X] 1) & = & \sum E [X] (x_{i} - E [X]) \\ = & \sum (E [X] x_{i} - E [X]^{2}) \\ = & E [X] \sum x_{i} - \sum E [X]^{2} \\ = & n E [X] E [X] - n E [X]^{2} \\ = & 0 \end{array}

$\begin{eqnarray} E[X]{\bf 1}\cdot(X-E[X]{\bf 1}) &=& \sum E[X](x_i-E[X])\\ &=& \sum (E[X]x_i-E[X]^2)\\ &=& E[X]\sum x_i - \sum E[X]^2\\ &=& n E[X]E[X] - n E[X]^2\\ &=& 0\\ \end{eqnarray}$

Quindi i due vettori sono perpendicolari, il che significa che sono le due gambe di un triangolo rettangolo.

Quindi per PT (che tiene in ), la somma dei quadrati delle lunghezze delle due gambe è uguale al quadrato dell'ipotenusa. $\mathbb{R}^n$

Dalla stessa algebra usata nella noiosa dimostrazione algebrica in alto, abbiamo mostrato che otteniamo che è il quadrato del vettore ipotenuso: $E[X^2]$

dove quadratura è il prodotto punto (ed è in realtà e è . $(X-E[X])^2 + E[X]^2 = ... = E[X^2]$ $E[x]{\bf 1}$ $(X-E[X])^2$ $Var(X)$

La parte interessante di questa interpretazione è la conversione da un campione di elementi da una distribuzione univariata a uno spazio vettoriale di dimensioni. Questo è simile a campioni bivariati interpretati come due campioni in variabili. $n$ $n$ $n$ $n$

In un certo senso, il triangolo rettangolo tra vettori ed come ipotenusa. Abbiamo fornito un'interpretazione (vettori) per questi valori e dimostriamo che corrispondono. È abbastanza interessante, ma non illuminante né statisticamente né geometricamente. Non direbbe davvero perché e sarebbe un sacco di macchine extra concettuali per, alla fine, per lo più riprodurre la prova puramente algebrica che avevamo già all'inizio. $E[X^2]$

$n$

— Mitch
fonte

Sono anche interessato a un'interpretazione / intuizione dietro l'equazione di compromesso di varianza superficialmente simile. Qualcuno ha suggerimenti lì?

— Mitch,

p_{i}

$p_i$

i

$i$

p_{i} = \frac{1}{n}

$p_i = \frac{1}{n}$

\sum_{i} p_{i} X_{i} Y_{i} = \frac{1}{n} \sum_{i} X_{i} Y_{i}

$\sum_i p_i X_i Y_i = \frac{1}{n} \sum_i X_i Y_i$

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

n

$n$

\forall_{i} p_{i} = \frac{1}{n}

$\forall_i p_i = \frac{1}{n}$

E [X Y] = \sum_{i} p_{i} X_{i} Y_{i}

$E[XY] = \sum_i p_i X_i Y_i$

n

$n$

E [X Y]

$E[XY]$

P

$P$

\forall_{i} p_{i} = \frac{1}{n}

$\forall_i p_i = \frac{1}{n}$

\hat{x}

$\hat{x}$

\hat{y}

$\hat{y}$

{\hat{x}}_{i} = x_{i} \sqrt{p_{i}}

$\hat{x}_i = x_i \sqrt{p_i}$

{\hat{y}}_{i} = x_{i} \sqrt{p_{i}}

$\hat{y}_i = x_i \sqrt{p_i}$

\hat{x} \cdot \hat{y} = \sum_{i} x_{i} \sqrt{p_{i}} y_{i} \sqrt{p_{i}} = \sum_{i} p_{i} x_{i} y_{i} = E [x y]

$\hat{x} \cdot \hat{y} = \sum_i x_i \sqrt{p_i} y_i \sqrt{p_i} = \sum_i p_i x_i y_i = E[xy]$

\hat{x}

$\hat{x}$

\hat{y}

$\hat{y}$

E [x y]

$E[xy]$