La linearità della varianza

16

Penso che le seguenti due formule siano vere:

V un' r (un' X) = {un'}^{2} V un' r (X)

$\mathrm{Var}(aX)=a^2 \mathrm{Var}(X)$ mentre a è un numero costante

V un' r (X + Y) = V un' r (X) + V un' r (Y)

$\mathrm{Var}(X + Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$ se

X

$X$ ,

Y

$Y$ sono indipendenti

Tuttavia, non sono sicuro di cosa non vada di seguito:

V un' r (2 X) = V un' r (X + X) = V un' r (X) + V un' r (X)

$\mathrm{Var}(2X) = \mathrm{Var}(X+X) = \mathrm{Var}(X) + \mathrm{Var}(X)$ che non è uguale a

2^{2} V a r (X)

$2^2 \mathrm{Var}(X)$ , cioè

4 V a r (X)

$4\mathrm{Var}(X)$ .

Se si assume che $X$ è il campione prelevato da una popolazione, penso che possiamo sempre supporre $X$ di essere indipendente dalle altre $X$ s.

Quindi cosa c'è di sbagliato nella mia confusione?

variance linearity fallacy

— lanselibai
fonte

8

La varianza non è lineare - la tua prima affermazione mostra questo (se lo fosse, avresti

. La covarianza invece è bilineare.

V a r (a X) = a V a r (X)

$Var(aX) = a Var(X)$

— Batman

33

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$

Il problema con il tuo ragionamento è

"Penso che possiamo sempre presumere che sia indipendente dalle altre ". $X$ $X$

non è indipendente da . Il simbolo viene utilizzato per fare riferimento alla stessa variabile casuale qui. Una volta che conosci il valore della prima da visualizzare nella tua formula, questo risolve anche il valore della seconda da visualizzare. Se si desidera che facciano riferimento a variabili casuali distinte (e potenzialmente indipendenti), è necessario indicarle con lettere diverse (ad es. e ) o utilizzare pedici (ad es. e ); quest'ultimo è spesso (ma non sempre) utilizzato per indicare le variabili tratte dalla stessa distribuzione. $X$ $X$ $X$ $X$ $X$ $X$ $Y$ $X_1$ $X_2$

Se due variabili e sono indipendenti, allora è lo stesso di : conoscere il valore di non ci dà ulteriori informazioni sul valore di . Ma è se e altrimenti: conoscendo il valore di $X$ $Y$ $\Pr(X=a|Y=b)$ $\Pr(X=a)$ $Y$ $X$ $\Pr(X=a|X=b)$ $1$ $a=b$ $0$ $X$ ti dà informazioni complete circa il valore di . [È possibile sostituire le probabilità in questo paragrafo con funzioni di distribuzione cumulativa o, se del caso, funzioni di densità di probabilità, essenzialmente allo stesso effetto.] $X$

Un altro modo di vedere le cose è che se due variabili sono indipendenti allora hanno una correlazione zero (sebbene la correlazione zero non implichi indipendenza !) Ma è perfettamente correlato con se stesso, quindi non può essere indipendente di se stesso. Si noti che poiché la covarianza è data da $X$ $\Corr(X,X)=1$ $X$ , quindi $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$

Cov (X, X) = 1 \sqrt{Var (X)^{2}} = Var (X)

$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$

La formula più generale per la varianza di una somma di due variabili casuali è

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

In particolare, , quindi $\Cov(X,X) = \Var(X)$

Var (X + X) = Var (X) + Var (X) + 2 Var (X) = 4 Var (X)

$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$

che è lo stesso che avresti dedotto dall'applicazione della regola

Var (a X) = a^{2} Var (X) ⟹ Var (2 X) = 4 Var (X)

$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$

Se sei interessato alla linearità, allora potresti essere interessato alla bilinearità della covarianza. Per le variabili casuali , , e (dipendenti o indipendenti) e le costanti , , e che abbiamo $W$ $X$ $Y$ $Z$ $a$ $b$ $c$ $d$

Cov (a W + b X, Y) = a Cov (W, Y) + b Cov (X, Y)

$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$

Cov (X, c Y + d Z) = c Cov (X, Y) + d Cov (X, Z)

$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$

e nel complesso,

Cov (a W + b X, c Y + d Z) = a c Cov (W, Y) + a d Cov (W, Z) + b c Cov (X, Y) + b d Cov (X, Z)

$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$

È quindi possibile utilizzare questo per dimostrare i risultati (non lineari) per la varianza che hai scritto nel tuo post:

Var (a X) = Cov (a X, a X) = a^{2} Cov (X, X) = a^{2} Var (X)

$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$

\begin{aligned} Var (a X + b Y) & = Cov (a X + b Y, a X + b Y) \\ = a^{2} Cov (X, X) + a b Cov (X, Y) + b a Cov (X, Y) + b^{2} Cov (Y, Y) \\ Var (a X + b Y) & = a^{2} Var (X) + b^{2} Var (Y) + 2 a b Cov (X, Y) \end{aligned}

$\begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align}$

The latter gives, as a special case when $a=b=1$ ,

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

When $X$ and $Y$ are uncorrelated (which includes the case where they are independent), then this reduces to $\Var(X+Y) = \Var(X) + \Var(Y)$ . So if you want to manipulate variances in a "linear" way (which is often a nice way to work algebraically), then work with the covariances instead, and exploit their bilinearity.

— Silverfish
fonte

1

Yes! I think you pinpointed at the beginning that the confusion was essentially a notational one. I found it very helpful when one book (very explicitly, some might say laboriously) explained the interpretation of and rules of evaluating a probabilistic statement (so that, e.g., even if you know what you mean by

Pr (X + X = n)

$\Pr (X+X=n)$ where

X \sim Uniform (1..6)

$X \sim \text{Uniform}(1..6)$ , it is technically incorrect if you're considering throwing a

n

$n$ in craps (and

X + X = 2 X

$X+X=2X$ would never yield an odd roll); the event would be properly expressed using

X_{1}, X_{2}

$X_1,X_2$ i.i.d.).

— Vandermonde

1

This is in contrast to (and I think my misapprehension might have stemmed from) how 2+PRNG(6)+PRNG(6) often is how you would toss dice as above and/or notation/conventions such as

2 d 6 = d 6 + d 6

$2 \text{d}6 = \text{d}6 + \text{d}6$ in which different instances are genuinely intended to be independent.

— Vandermonde

@Vandermonde That's an interesting point. I initially considered mentioning the use of subscripts to distinguish between "different

X

$X$ s" but didn't bother - think I might edit it in now. The argument that "you'd never get an odd total score if the sum was

2 X

$2X$ " is very clear and convincing to someone who can't see the need to distinguish: thanks for sharing it.

— Silverfish

0

Another way of thinking about it is that with random variables $2X \neq X + X$ .

$2X$ would mean two times the value of the outcome of $X$ , while $X + X$ would mean two trials of $X$ . In other words, it's the difference between rolling a die once and doubling the result, vs rolling a die twice.

— Benjamin
fonte

+1 This is a perfectly clear and correct answer. Welcome to our site!

— whuber

Thanks @whuber!

— Benjamin