Significa centrare riduce la covarianza?

11

Supponendo che io abbia due variabili casuali non indipendenti e che voglia ridurre la covarianza tra loro il più possibile senza perdere troppo "segnale", significa centrare l'aiuto? Ho letto da qualche parte che significa che il centraggio riduce la correlazione di un fattore significativo, quindi sto pensando che dovrebbe fare lo stesso per la covarianza.

correlation covariance random-vector

— LVDP
fonte

30

Se e sono variabili casuali e e sono costanti, quindi centratura è il caso speciale e , quindi la centratura non influisce sulla covarianza. $X$ $Y$ $a$ $b$

\begin{aligned} Cov (X + a, Y + b) & = E [(X + a - E [X + a]) (Y + b - E [Y + b])] \\ = E [(X + a - E [X] - E [a]) (Y + b - E [Y] - E [b])] \\ = E [(X + a - E [X] - a) (Y + b - E [Y] - b)] \\ = E [(X - E [X]) (Y - E [Y])] \\ = Cov (X, Y) . \end{aligned}

$\begin{aligned} \operatorname{Cov}(X + a, Y + b) &= E[(X + a - E[X + a])(Y + b - E[Y + b])] \\ &= E[(X + a - E[X] - E[a])(Y + b - E[Y] - E[b])] \\ &= E[(X + a - E[X] - a)(Y + b - E[Y] - b)] \\ &= E[(X - E[X])(Y - E[Y])] \\ &= \operatorname{Cov}(X, Y). \end{aligned}$

a = - E [X]

$a = -E[X]$

b = - E [Y]

$b = -E[Y]$

Inoltre, poiché la correlazione è definita come possiamo vedere che quindi in particolare la correlazione non è influenzata neanche dal centraggio.

Corr (X, Y) = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}},

$\operatorname{Corr}(X, Y) = \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}},$

\begin{aligned} Corr (X + a, Y + b) & = \frac{Cov (X + a, Y + b)}{\sqrt{Var (X + a) Var (Y + b)}} \\ = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}}, \end{aligned}

$\begin{aligned} \operatorname{Corr}(X + a, Y + b) &= \frac{\operatorname{Cov}(X + a, Y + b)}{\sqrt{\operatorname{Var}(X + a) \operatorname{Var}(Y + b)}} \\ &= \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}}, \end{aligned}$

Questa era la versione della storia della popolazione. La versione di esempio è la stessa: se utilizziamo come stima della covarianza tra e da un campione associato , quindi

\hat{Cov} (X, Y) = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j})

$\widehat{\operatorname{Cov}}(X, Y) = \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right)$

X

$X$

Y

$Y$

(X_{1}, Y_{1}), \dots, (X_{n}, Y_{n})

$(X_1,Y_1), \ldots, (X_n,Y_n)$

\begin{aligned} \hat{Cov} (X + a, Y + b) & = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} (X_{j} + a)) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} (Y_{j} + b)) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} X_{j} - \frac{n}{n} a) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} Y_{j} - \frac{n}{n} b) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j}) \\ = \hat{Cov} (X, Y) \end{aligned}

$\begin{aligned} \widehat{\operatorname{Cov}}(X + a, Y + b) &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n (X_j + a)\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n (Y_j + b)\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n X_j - \frac{n}{n} a\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n Y_j - \frac{n}{n} b\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right) \\ &= \widehat{\operatorname{Cov}}(X, Y) \end{aligned}$ per qualsiasi e .

a

$a$

b

$b$

— Artem Mavrin
fonte

grazie per la risposta dettagliata. Significa che per la covarianza del campione anche la dimensione del campione non ha alcun impatto? cioè ridurre la dimensione del campione non riduce la covarianza del campione?

— lvdp,

3

@lvdp Probabilmente dovrebbe essere una domanda separata.

— Accumulo,

Una dimensione del campione ridotta può venire solo con un campione diverso. Un campione diverso potrebbe quindi mostrare una diversa covarianza. Ma poiché la covarianza del campione è definita come media, in linea di principio la dimensione del campione viene ridimensionata.

— Nick Cox,

5

La definizione della covarianza di e è . L'espressione in questa formula è la versione centrato di . Quindi centriamo già quando prendiamo la covarianza e il centraggio è un operatore idempotente; una volta centrata una variabile, l'applicazione del processo di centratura altre volte non la modifica. Se la formula non prendesse le versioni centrate delle variabili, allora ci sarebbero tutti gli effetti strani, come la covarianza tra la temperatura e un'altra variabile diversa a seconda che misuriamo la temperatura in gradi Celsius o Kelvin. $X$ $Y$ $E[(X-E[X])(Y-E[Y])]$ $X-E[X]$ $X$ $X$

— Acccumulation
fonte

3

"da qualche parte" tende ad essere una fonte piuttosto inaffidabile ...

La covarianza / correlazione sono definite con centratura esplicita . Se non centrate i dati, non state calcolando la covarianza / correlazione. (Precisamente: correlazione di Pearson)

La differenza principale è se si centra sulla base di un modello teorico (ad esempio, il valore atteso dovrebbe essere esattamente 0) o sulla base dei dati (media aritmetica). È facile vedere che la media aritmetica produrrà Covarianza più piccola di qualsiasi altro centro.

Tuttavia, la covarianza più piccola non implica una correlazione più piccola, o il contrario. Supponiamo di avere i dati X = (1,2) e Y = (2,1). È facile intuire che con la centratura media aritmetica questo produrrà una correlazione perfettamente negativa, mentre se sappiamo che il processo di generazione produce 0 in media, i dati sono effettivamente correlati positivamente. Quindi, in questo esempio, stiamo centrando, ma con il valore teorico atteso di 0.

Questo può sorgere facilmente. Considera che abbiamo un array di sensori, 11x11, con le celle numerate da -5 a +5. Invece di prendere la media aritmetica, ha senso usare qui la media "fisica" del nostro array di sensori quando cerchiamo la correlazione degli eventi del sensore (se enumerassimo le celle da 0 a 10, useremmo 5 come media fissa, e otterremmo gli stessi esatti risultati, in modo che la scelta dell'indicizzazione scompaia dall'analisi - bello).

— Ha QUIT - Anony-Mousse
fonte

Grazie @ Anony-Mousse, la covarianza del campione dipenderà dalla dimensione del campione? Vale a dire una dimensione del campione più piccola produrrà una covarianza più piccola (prima della centratura).

— lvdp,

1

Dipende ovviamente dal campione. In media, non lo so. Mi aspetto che campioni più piccoli abbiano principalmente una maggiore variabilità, quindi forse più spesso valori più estremi. Ma questa è solo un'intuizione.

— Ha QUIT - Anony-Mousse,