La covarianza uguale a zero implica l'indipendenza per le variabili casuali binarie?

Se $X$ e $Y$ sono due variabili casuali che possono assumere solo due stati possibili, come posso dimostrare che $Cov(X,Y) = 0$ implica indipendenza? Questo tipo di va contro ciò che ho appreso nel giorno in cui $Cov(X,Y) = 0$ non implica l'indipendenza ...

Il suggerimento dice di iniziare con $1$ e $0$ come possibili stati e generalizzare da lì. E posso farlo e mostrare $E(XY) = E(X)E(Y)$ , ma questo non implica indipendenza ???

Un po 'confuso su come farlo matematicamente, immagino.

covariance independence

— user3604869
fonte

Non è vero in generale, come suggerisce l'intestazione della tua domanda ..

— Michael R. Chernick,

L'affermazione che stai cercando di dimostrare è davvero vera. Se

X

$X$ e

Y

$Y$ sono variabili casuali di Bernoulli con parametri rispettivamente

p_{1}

$p_1$ e

p_{2}

$p_2$ , allora

E [X] = p_{1}

$E[X]=p_1$ ed

E [Y] = p_{2}

$E[Y]=p_2$ . Quindi,

cov (X, Y) = E [X Y] - E [X] E [Y]

$\operatorname{cov}(X,Y)=E[XY]-E[X]E[Y]$ uguale a

0

$0$ solo se

E [X Y] = P {X = 1, Y = 1}

$E[XY]=P\{X=1,Y=1\}$ uguale a

p_{1} p_{2} = P {X = 1} P {Y = 1}

$p_1p_2=P\{X=1\}P\{Y=1\}$ che mostra che

{X = 1}

$\{X=1\}$ e

{Y = 1}

$\{Y=1\}$ sono eventi indipendenti . È un risultato standard che se

A

$A$

B

$B$ sono una coppia di eventi indipendenti, quindi lo sono anche

A, B^{c}

$A,B^c$ e

A^{c}, B

$A^c,B$ e

A^{c}, B^{c}

$A^c,B^c$ eventi indipendenti, ovvero

X

$X$ e

Y

$Y$ sono variabili casuali indipendenti. Ora generalizza.

— Dilip Sarwate,

Risposte:

Per le variabili binarie il loro valore atteso è uguale alla probabilità che siano uguali a uno. Perciò,

E (X Y) = P (X Y = 1) = P (X = 1 \cap Y = 1) E (X) = P (X = 1) E (Y) = P (Y = 1)

$E(XY) = P(XY = 1) = P(X=1 \cap Y=1) \\ E(X) = P(X=1) \\ E(Y) = P(Y=1) \\$

Se i due hanno zero covarianza questo significa $E(XY) = E(X)E(Y)$ , che significa

P (X = 1 \cap Y = 1) = P (X = 1) \cdot P (Y = 1)

$P(X=1 \cap Y=1) = P(X=1) \cdot P(Y=1)$

È banale vedere anche moltiplicare tutte le altre probabilità congiunte, usando le regole di base sugli eventi indipendenti (cioè se $A$ e $B$ sono indipendenti, i loro complementi sono indipendenti, ecc.), Il che significa che la funzione di massa articolare fattorizza, che è la definizione di due variabili casuali che sono indipendenti.

— Gammer
fonte

Conciso ed elegante. Classy! +1 = D

— Marcelo Ventura,

Sia la correlazione che la covarianza misurano l'associazione lineare tra due variabili date e non ha l'obbligo di rilevare altre forme di associazione.

Quindi queste due variabili potrebbero essere associate in molti altri modi non lineari e la covarianza (e, quindi, la correlazione) non potrebbe distinguere dal caso indipendente.

Come molto didattico, artificiale e non realistica esempio, si può considerare $X$ tale che $P(X=x)=1/3$ per $x=−1,0,1$ e considerare anche $Y=X^2$ . Si noti che non sono solo associati, ma l'uno è una funzione dell'altro. Tuttavia, la loro covarianza è 0, poiché la loro associazione è ortogonale all'associazione che la covarianza è in grado di rilevare.

MODIFICARE

In effetti, come indicato da @whuber, la risposta originale sopra era in realtà un commento su come l'asserzione non è universalmente vera se entrambe le variabili non fossero necessariamente dicotomiche. Colpa mia!

Quindi facciamo matematica. (L'equivalente locale di "Suit up!" Di Barney Stinson)

Caso particolare

Se entrambi e sono dicotomico, allora si può supporre, senza perdita di generalità, che sia assumere solo i valori e con probabilità arbitrarie , ed data da $X$ $Y$ $0$ $1$ $p$ $q$ $r$ che caratterizzano completamente la distribuzione congiunta die. Prendendo in considerazione il suggerimento di @ DilipSarwate, nota che questi tre valori sono sufficienti per determinare la distribuzione congiunta di, poiché

\begin{aligned} P (X = 1) = p \in [0, 1] \\ P (Y = 1) = q \in [0, 1] \\ P (X = 1, Y = 1) = r \in [0, 1], \end{aligned}

$\begin{align*} P(X=1) = p \in [0,1] \\ P(Y=1) = q \in [0,1] \\ P(X=1,Y=1) = r \in [0,1], \end{align*}$

X

$X$

Y

$Y$

(X, Y)

$(X,Y)$

(Su una nota a margine, ovviamente

è tenuto a rispettare sia

che

\begin{aligned} P (X = 0, Y = 1) & = P (Y = 1) - P (X = 1, Y = 1) = q - r \\ P (X = 1, Y = 0) & = P (X = 1) - P (X = 1, Y = 1) = p - r \\ P (X = 0, Y = 0) & = 1 - P (X = 0, Y = 1) - P (X = 1, Y = 0) - P (X = 1, Y = 1) \\ = 1 - (q - r) - (p - r) - r = 1 - p - q - r . \end{aligned}

$\begin{align*} P(X=0,Y=1) &= P(Y=1) - P(X=1,Y=1) = q - r\\ P(X=1,Y=0) &= P(X=1) - P(X=1,Y=1) = p - r\\ P(X=0,Y=0) &= 1 - P(X=0,Y=1) - P(X=1,Y=0) - P(X=1,Y=1) \\ &= 1 - (q - r) - (p - r) - r = 1 - p - q - r. \end{align*}$

r

$r$

p - r \in [0, 1]

$p-r\in[0,1]$

q - r \in [0, 1]

$q-r\in[0,1]$

oltre

, ovvero

1 - p - q - r \in [0, 1]

$1-p-q-r\in[0,1]$

r \in [0, 1]

$r\in[0,1]$

r \in [0, min (p, q, 1 - p - q)]

$r\in[0,\min(p,q,1-p-q)]$

Si noti che potrebbe essere uguale al prodotto , che renderebbe e indipendenti, poiché $r = P(X=1,Y=1)$ $p\cdot q = P(X=1) P(Y=1)$ $X$ $Y$

\begin{aligned} P (X = 0, Y = 0) & = 1 - p - q - p q = (1 - p) (1 - q) = P (X = 0) P (Y = 0) \\ P (X = 1, Y = 0) & = p - p q = p (1 - q) = P (X = 1) P (Y = 0) \\ P (X = 0, Y = 1) & = q - p q = (1 - p) q = P (X = 0) P (Y = 1) . \end{aligned}

$\begin{align*} P(X=0,Y=0) &= 1 - p - q - pq = (1-p)(1-q) = P(X=0)P(Y=0)\\ P(X=1,Y=0) &= p - pq = p(1-q) = P(X=1)P(Y=0)\\ P(X=0,Y=1) &= q - pq = (1-p)q = P(X=0)P(Y=1). \end{align*}$

Yes, $r$ might be equal to $pq$ , BUT it can be different, as long as it respects the boundaries above.

Well, from the above joint distribution, we would have

\begin{aligned} E (X) & = 0 \cdot P (X = 0) + 1 \cdot P (X = 1) = P (X = 1) = p \\ E (Y) & = 0 \cdot P (Y = 0) + 1 \cdot P (Y = 1) = P (Y = 1) = q \\ E (X Y) & = 0 \cdot P (X Y = 0) + 1 \cdot P (X Y = 1) \\ = P (X Y = 1) = P (X = 1, Y = 1) = r \\ C o v (X, Y) & = E (X Y) - E (X) E (Y) = r - p q \end{aligned}

$\begin{align*} E(X) &= 0\cdot P(X=0) + 1\cdot P(X=1) = P(X=1) = p \\ E(Y) &= 0\cdot P(Y=0) + 1\cdot P(Y=1) = P(Y=1) = q \\ E(XY) &= 0\cdot P(XY=0) + 1\cdot P(XY=1) \\ &= P(XY=1) = P(X=1,Y=1) = r\\ Cov(X,Y) &= E(XY) - E(X)E(Y) = r - pq \end{align*}$

Now, notice then that $X$ and $Y$ are independent if and only if $Cov(X,Y)=0$ . Indeed, if $X$ and $Y$ are independent, then $P(X=1,Y=1)=P(X=1)P(Y=1)$ , which is to say $r=pq$ . Therefore, $Cov(X,Y)=r-pq=0$ ; and, on the other hand, if $Cov(X,Y)=0$ , then $r-pq=0$ , which is to say $r=pq$ . Therefore, $X$ and $Y$ are independent.

General Case

About the without loss of generality clause above, if $X$ and $Y$ were distributed otherwise, let's say, for $a<b$ and $c<d$ ,

\begin{aligned} P (X = b) = p \\ P (Y = d) = q \\ P (X = b, Y = d) = r \end{aligned}

$\begin{align*} P(X=b)=p \\ P(Y=d)=q \\ P(X=b, Y=d)=r \end{align*}$ then

X^{'}

$X'$ and

Y^{'}

$Y'$ given by

X^{'} = \frac{X - a}{b - a} and Y^{'} = \frac{Y - c}{d - c}

$X'=\frac{X-a}{b-a} \qquad \text{and} \qquad Y'=\frac{Y-c}{d-c}$ would be distributed just as characterized above, since

X = a \Leftrightarrow X^{'} = 0, X = b \Leftrightarrow X^{'} = 1, Y = c \Leftrightarrow Y^{'} = 0 and Y = d \Leftrightarrow Y^{'} = 1.

$X=a \Leftrightarrow X'=0, \quad X=b \Leftrightarrow X'=1, \quad Y=c \Leftrightarrow Y'=0 \quad \text{and} \quad Y=d \Leftrightarrow Y'=1.$ So

X

$X$ and

Y

$Y$ are independent if and only if

X^{'}

$X'$ and

Y^{'}

$Y'$ are independent.

Also, we would have

\begin{aligned} E (X^{'}) & = E (\frac{X - a}{b - a}) = \frac{E (X) - a}{b - a} \\ E (Y^{'}) & = E (\frac{Y - c}{d - c}) = \frac{E (Y) - c}{d - c} \\ E (X^{'} Y^{'}) & = E (\frac{X - a}{b - a} \frac{Y - c}{d - c}) = \frac{E [(X - a) (Y - c)]}{(b - a) (d - c)} \\ = \frac{E (X Y - X c - a Y + a c)}{(b - a) (d - c)} = \frac{E (X Y) - c E (X) - a E (Y) + a c}{(b - a) (d - c)} \\ C o v (X^{'}, Y^{'}) & = E (X^{'} Y^{'}) - E (X^{'}) E (Y^{'}) \\ = \frac{E (X Y) - c E (X) - a E (Y) + a c}{(b - a) (d - c)} - \frac{E (X) - a}{b - a} \frac{E (Y) - c}{d - c} \\ = \frac{[E (X Y) - c E (X) - a E (Y) + a c] - [E (X) - a] [E (Y) - c]}{(b - a) (d - c)} \\ = \frac{[E (X Y) - c E (X) - a E (Y) + a c] - [E (X) E (Y) - c E (X) - a E (Y) + a c]}{(b - a) (d - c)} \\ = \frac{E (X Y) - E (X) E (Y)}{(b - a) (d - c)} = \frac{1}{(b - a) (d - c)} C o v (X, Y) . \end{aligned}

$\begin{align*} E(X') &= E\left(\frac{X-a}{b-a}\right) = \frac{E(X)-a}{b-a} \\ E(Y') &= E\left(\frac{Y-c}{d-c}\right) = \frac{E(Y)-c}{d-c} \\ E(X'Y') &= E\left(\frac{X-a}{b-a} \frac{Y-c}{d-c}\right) = \frac{E[(X-a)(Y-c)]}{(b-a)(d-c)} \\ &= \frac{E(XY-Xc-aY+ac)}{(b-a)(d-c)} = \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} \\ Cov(X',Y') &= E(X'Y')-E(X')E(Y') \\ &= \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} - \frac{E(X)-a}{b-a} \frac{E(Y)-c}{d-c} \\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)-a] [E(Y)-c]}{(b-a)(d-c)}\\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)E(Y)-cE(X)-aE(Y)+ac]}{(b-a)(d-c)}\\ &= \frac{E(XY)-E(X)E(Y)}{(b-a)(d-c)} = \frac{1}{(b-a)(d-c)} Cov(X,Y). \end{align*}$ So

C o v (X, Y) = 0

$Cov(X,Y)=0$ if and only

C o v (X^{'}, Y^{'}) = 0

$Cov(X',Y')=0$ .

— Marcelo Ventura
fonte

I recycled that answer from this post.

— Marcelo Ventura

Verbatim cut and paste from your other post. Love it. +1

— gammer

The problem with copy-and-paste is that your answer no longer seems to address the question: it is merely a comment on the question. It would be better, then, to post a comment with a link to your other answer.

— whuber

How is thus an answer to the question asked?

— Dilip Sarwate

Your edits still don't answer the question, at least not at the level the question is asked. You write "Notice that

r \dots

$r~\ldots$ not necessarily equal to the product

p q

$pq$ . That exceptional situation corresponds to the case of independence between

X

$X$ and

Y

$Y$ ." which is a perfectly true statement but only for the cognoscenti because for the hoi polloi, independence requires not just that

\begin{matrix} (1) & P (X = 1, Y = 1) = P (X = 1) P (Y = 1) \end{matrix}

$P(X=1,Y=1)=P(X=1)P(Y=1)\tag 1$ but also

\begin{matrix} (2) & P (X = u, Y = v) = P (X = u) P (Y = v), u . v \in {0, 1} . \end{matrix}

$P(X=u,Y=v)=P(X=u)P(Y=v),~u.v\in\{0,1\}.\tag 2$ Yes,

(1) ⟹ (2)

$(1) \implies(2)$ as the cognoscenti know; for lesser mortals, a proof that

(1) ⟹ (2)

$(1) \implies (2)$ is helpful.

— Dilip Sarwate

IN GENERAL:

The criterion for independence is $F(x,y) = F_X(x)F_Y(y)$ . Or

\begin{matrix} (1) & f_{X, Y} (x, y) = f_{X} (x) f_{Y} (y) \end{matrix}

$f_{X,Y}(x,y)=f_X(x)\,f_Y(y)\tag 1$

"If two variables are independent, their covariance is $0.$ But, having a covariance of $0$ does not imply the variables are independent."

This is nicely explained by Macro here, and in the Wikipedia entry for independence.

$\text {independence} \Rightarrow \text{zero cov}$ , yet

$\text{zero cov}\nRightarrow \text{independence}.$

Great example: $X \sim N(0,1)$ , and $Y= X^2.$ Covariance is zero (and $\mathbb E(XY)=0$ , which is the criterion for orthogonality), yet they are dependent. Credit goes to this post.

IN PARTICULAR (OP problem):

These are Bernoulli rv's, $X$ and $Y$ with probability of success $\Pr(X=1)$ , and $\Pr(Y=1)$ .

$\begin{align}\mathrm{cov}(X,Y)&=\mathrm E[XY] - \mathrm E[X]\,\mathrm E[Y]\\[2ex] &\underset{*}{=} \Pr(X=1 \cap Y=1) - \Pr(X=1)\, \Pr(Y=1)\\[2ex] &\implies \Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1). \end{align}$

This is equivalent to the condition for independence in Eq. $(1).$

$(*)$ :

E [X Y] \underset{* *}{=} \sum_{domain X, Y} Pr (X = x \cap Y = y) x y \underset{\neq 0 iff x \times y \neq 0}{=} Pr (X = 1 \cap Y = 1) .

$\mathrm E[XY]\quad \underset{**}{=} \quad \displaystyle \sum_{\text{domain X, Y}} \Pr(X=x\cap Y=y)\, x\,y \underset{\neq\,0\text{ iff } x \times y\neq 0}= \Pr(X=1 \cap Y=1).$

$(**)$ : by LOTUS.

As pointed out below, the argument is incomplete without what Dilip Sarwate had pointed out in his comments shortly after the OP appeared. After searching around, I found this proof of the missing part here:

If events $A$ and $B$ are independent, then events $A^c$ and $B$ are independent, and events $A^c$ and $B^c$ are also independent.

Proof By definition,

$A$ and $B$ are independent $\iff P(A\cap B) = P(A)P(B).$

But $B=(A\cap B) + ( A^c \cup B)$ , so $P(B)= P(A\cap B) + P(A^c \cup B)$ , which yields:

$\small P(A^c \cap B) = P(B) - P(A\cap B) = P(B) - P(A)\,P(B) = P(B) \left[1 - P(A)\right] = P(B)\,P( A^c).$

Repeat the argument for the events $A^c$ and $B^c,$ this time starting from the statement that $A^c$ and $B$ are independent and taking the complement of $B.$

Similarly. $A$ and $B^c$ are independent events.

So, we have shown already that

Pr (X = 1, Y = 1) = Pr (X = 1) Pr (Y = 1)

$\Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1)$ and the above shows that this implies that

Pr (X = i, Y = j) = Pr (X = i) Pr (Y = j), i, j \in {0, 1}

$\Pr(X=i , Y=j) = \Pr (X=i)\,\Pr(Y=j), ~~i, j \in \{0,1\}$ that is, the joint pmf factors into the product of marginal pmfs everywhere, not just at

(1, 1)

$(1,1)$ . Hence, uncorrelated Bernoulli random variables

X

$X$ and

Y

$Y$ are also independent random variables.

— Antoni Parellada
fonte

Actually that's not an equivalent condition to Eq (1). All you showed was that

f_{X, Y} (1, 1) = f_{X} (1) f_{Y} (1)

$f_{X,Y}(1,1) = f_{X}(1) f_{Y}(1)$

— gammer

Please consider replacing that image with your own equations, preferably ones that don't use overbars to denote complements. The overbars in the image are very hard to see.

— Dilip Sarwate

@DilipSarwate No problem. Is it better, now?

— Antoni Parellada

Thanks. Also, note that strictly speaking, you also need to show that

A

$A$ and

B^{c}

$B^c$ are independent events since the factorization of the joint pdf into the product of the marginal pmts must hold at all four points. Perhaps adding the sentence "Similarly.

A

$A$ and

B^{c}

$B^c$ are independent events" right after the proof that

A^{c}

$A^c$ and

B

$B$ are independent events will work.

— Dilip Sarwate

@DilipSarwate Thank you very much for your help getting it right. The proof as it was before all the editing seemed self-explanatory, because of all the inherent symmetry, but it clearly couldn't be taken for granted. I am very appreciative of your assistance.

— Antoni Parellada