Qual è l'intuizione dietro l'indipendenza di

18

Speravo che qualcuno potesse proporre un argomento che spieghi perché le variabili casuali e , con distribuzione normale standard, sono statisticamente indipendenti. La prova di questo fatto deriva facilmente dalla tecnica MGF, ma la trovo estremamente controintuitiva. $Y_1=X_2-X_1$ $Y_2=X_1+X_2$ $X_i$

Gradirei quindi l'intuizione qui, se presente.

Grazie in anticipo.

EDIT : i pedici non indicano le statistiche dell'ordine ma le osservazioni IID della normale distribuzione standard.

probability self-study mathematical-statistics

— Jöhnk
fonte

Che cos'è la "tecnica MGF"?

— ameba dice di reintegrare Monica il

@amoeba È l'uso di funzioni generatrici di momenti per determinare la distribuzione di una variabile casuale. Nel mio caso, mi riferisco al teorema che

Y_{1}

$Y_1$ e

Y_{2}

$Y_2$ sono indipendenti se e solo se

M (t_{1}, t_{2}) = M (t_{1}, 0) \times M (0, t_{2})

$M(t_1,t_2)=M(t_1,0) \times M(0,t_2)$ ,

M (t_{1}, t_{2})

$M(t_1,t_2)$ uguale a

E (e^{t_{1} Y_{1} + t_{2} Y_{2}})

$E(e^{t_1Y_1+t_2Y_2})$ . Scegli qualsiasi altra tecnica e sono sicuro che otterrai lo stesso risultato.

— JohnK,

1

È possibile trovare alcune informazioni nel thread strettamente correlato all'indirizzo stats.stackexchange.com/questions/71260 .

— whuber

Si potrebbe ottenere un po 'di intuizione, considerando ciò che accade a ciascuno di questi se si aggiunge una costante, dire

μ

$\mu$ , ad ogni

X

$X$ . E cosa succede se moltiplichi ogni

X

$X$ per una costante, dì

σ

$\sigma$

— rvl il

1

Strettamente correlato: riferimento per la somma e la differenza di variabili altamente correlate quasi non correlate .

— gung - Ripristina Monica

22

Si tratta di dati distribuiti normali standard: si diagramma a dispersione nel primo sistema di coordinate noti che la distribuzione è simmetrica circolaria.

Quando si passa a e , si ruota e scala in modo efficace l'asse, in questo modo: questo nuovo sistema di coordinate ha la stessa origine di quello originale e gli assi sono ortogonale. A causa della simmetria circolare, le variabili sono ancora indipendenti nel nuovo sistema di coordinate. $Y_1 = X_2 - X_1$ $Y_2 = X_1 + X_2$ grafico a dispersione con sistema di coordinate ruotato

— dobiwan
fonte

4

Il risultato si applica anche quando

e

sono correlati con i margini normali dell'unità. Quindi la tua spiegazione copre solo una sottocassa del risultato originale. Tuttavia, l'idea di base qui è sana.

X_{1}

$X_1$

X_{2}

$X_2$

— Glen_b -Restate Monica

1

@Glen_b, sì, hai ragione. Volevo concentrarmi su un caso semplice, poiché JohnK sembra già sapere come dimostrare il caso generale, ma non ha la comprensione intuitiva.

— Dobiwan,

7

Il risultato funziona per congiuntamente normale (cioè con correlazione, ), con comune . $(X_1,X_2)$ $-1<\rho<1$ $\sigma$

Se conosci un paio di risultati di base, questo è tutto ciò di cui hai bisogno:

$\quad\quad\quad$ enter image description here

L'approccio di Dobiwan è sostanzialmente perfetto - è solo che il risultato è più generale del caso trattato lì.

— Glen_b - Ripristina Monica
fonte

3

+1 per ridurre il risultato desiderato all'essenziale. Aggiungerò che per il caso più generale di normalità congiunta con varianze disuguali, una rotazione degli assi di

invece di

θ = \frac{1}{2} \arctan (\frac{2 ρ \cdot σ_{1} σ_{2}}{σ_{1}^{2} - σ_{2}^{2}})

$\theta = \frac{1}{2}\arctan\left ( \frac{2\rho\cdot\sigma_1\sigma_2}{\sigma_1^2 - \sigma_2^2}\right )$

a implicita

produce variabili aleatorie normali indipendenti.

\pm \frac{π}{4}

$\pm \frac{\pi}{4}$

(X_{1}, X_{2}) \to (X_{1} + X_{2} . X_{1} - X_{2})

$(X_1,X_2) \to (X_1+X_2. X_1-X_2)$

— Dilip Sarwate,

6

Il risultato si pretende di essere vero non è vero in generale, non anche per il caso in cui tutto che è noto è che e sono variabili casuali normali con varianza identici, ma il risultato fa presa per l' usuale interpretazione della condizione hai dichiarato più tardi: $X_1$ $X_2$

I pedici non indicano le statistiche degli ordini ma le osservazioni dalla normale distribuzione standard.

La consueta interpretazione delle ultime parole in questa affermazione è, ovviamente, che e sono variabili casuali indipendenti (normali), e quindi variabili casuali normali congiuntamente . $X_1$ $X_2$

Per variabili casuali normali congiunte con varianza identica, è vero che e sono variabili casuali indipendenti (normali) (con, in generale, varianze disuguali), e la spiegazione intuitiva per questo è meglio data nella risposta di Glen_b. Poiché anche il tuo caso speciale di e è indipendente, la risposta di Dobiwan, che hai accettato, è più semplice e rivela in effetti che qualsiasi rotazione degli assi, non solo di $X_1+X_2$ $X_1-X_2$ $X_1$ $X_2$ implicito nella trasformazione, produrrà variabili casuali indipendenti. $\pm \frac{\pi}{4}$ $(X_1,X_2)\to (X_1+X_2, X_1-X_2)$

Cosa si può dire in generale? In tutto ciò che dico di seguito, tieni presente che e hanno la stessa varianza , indipendentemente dalle altre proprietà che potrebbero essere loro attribuite. $X$ $Y$

Se e sono eventuali variabili casuali (nota: non necessariamente normale) con varianza identici, allora e sono incorrelati variabili casuali (cioè, hanno covarianza nulla). Questo perché la funzione di covarianza è bilineare : $X$ $Y$ $X+Y$ $X-Y$ Qui abbiamo usato il fatto cheè solo la varianzadi(e similmente per) e, naturalmente, . Si noti che questo risultato vale quandoesono (casualmente) variabili casuali normali ma non necessariamentecongiuntamente

\begin{aligned} cov (X + Y, X - Y) & = cov (X, X) - cov (X, Y) + cov (Y, X) - cov (Y, Y) \\ = var (X) - cov (X, Y) + cov (X, Y) - var (Y) \\ = 0. \end{aligned}

$\begin{align} \operatorname{cov}(X+Y, X-Y) &= \operatorname{cov}(X,X) - \operatorname{cov}(X,Y) + \operatorname{cov}(Y,X) - \operatorname{cov}(Y,Y)\\ &= \operatorname{var}(X) - \operatorname{cov}(X,Y) + \operatorname{cov}(X,Y) - \operatorname{var}(Y)\\ &= 0. \end{align}$

cov (X, X)

$\operatorname{cov}(X,X)$

var (X)

$\operatorname{var}(X)$

X

$X$

Y

$Y$

cov (Y, X) = cov (X, Y)

$\operatorname{cov}(Y,X) = \operatorname{cov}(X,Y)$

X

$X$

Y

$Y$ variabili casuali normali. (Se non si ha familiarità con questa nozione di normalità marginale che non è la stessa di normalità comune, vedere questa grande risposta del cardinale). Nel caso speciale in cui

e

sono variabili casuali normali congiuntamente normali (ma non necessariamente indipendenti), lo sono anche

e

congiuntamente normali, e poiché la loro covarianza è

,

e

sono casuali indipendenti variabili.

X

$X$

Y

$Y$

X + Y

$X+Y$

X - Y

$X-Y$

0

$0$

X + Y

$X+Y$

X - Y

$X-Y$

— Dilip Sarwate
fonte

2

$X_1,X_2$ $Y_1$ $Y_2$ $0$ $Y_1,Y_2$

La media condizionata

$X_1+X_2=y$ $X_1=x, X_2 = y-x$ $X_1 = y-x, X_2=x$

$X_1$ $X_2$ $X_1+X_2$ $X_1 \mid Y_2 = y$ $X_2 \mid Y_2 = y$

E (Y_{1} ∣ Y_{2} = y) = E (X_{1} - X_{2} ∣ X_{1} + X_{2} = y) = E (X_{1} ∣ X_{1} + X_{2} = y) - E (X_{2} ∣ X_{1} + X_{2} = y) = 0.

$\begin{equation} \mathbb{E}(Y_1 \mid Y_2 = y) = \mathbb{E}(X_1 - X_2 \mid X_1+X_2 = y) \\ = \mathbb{E}(X_1 \mid X_1+X_2 = y) - \mathbb{E}(X_2 \mid X_1+X_2 = y)= 0. \end{equation}$

(Caveat: I did not consider the possibility that the conditional mean might not exist.)

Constant conditional mean implies zero correlation/covariance

Intuition: correlation measures how much $Y_1$ tends to increase when $Y_2$ increases. If observing $Y_2$ never changes our mean of $Y_1$ , $Y_1$ and $Y_2$ are uncorrelated.

Proof: By definition, covariance is

C o v (Y_{1}, Y_{2}) = E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2}))]

$\begin{equation} Cov(Y_1,Y_2) = \mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right)\right] \end{equation}$ to this expectation, we apply the law of iterated expectations: take the expectation of the conditional expectation conditional on

Y_{2}

$Y_2$ :

= E [E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2})) ∣ Y_{2}]] = E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1}) ∣ Y_{2}]] .

$\begin{equation} = \mathbb{E}\left[\mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right) \mid Y_2\right]\right] = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1 - \mathbb{E}(Y_1) \mid Y_2\right] \right]. \end{equation}$ Recall that the conditional mean was shown to be independent of

Y_{2}

$Y_2$ and thus the expression simplifies as

= E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1})]]

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1-\mathbb{E}(Y_1)\right]\right] \end{equation}$ but the inner expectation is

0

$0$ and we get

= E [(Y_{2} - E (Y_{2})) \times 0] = 0.

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\times0\right] = 0. \end{equation}$

Independence

Just by assuming identical distributions for $X_1,X_2$ , it was shown that $Y_1$ and $Y_2$ are uncorrelated. When $X_1,X_2$ are jointly normal (for example, iid. normal as in the question), their linear combinations $Y_1,Y_2$ are also jointly normal and thus uncorrelatedness implies independence.

— Juho Kokkala
fonte