Una somma e un prodotto di due matrici di covarianza sono anche una matrice di covarianza?

12

Supponiamo di avere covarianza matrici e . Quali di queste opzioni sono quindi anche le matrici di covarianza? $X$ $Y$

$X+Y$
$X^2$
$XY$

Ho un po 'di problemi a capire cosa è esattamente necessario affinché qualcosa sia una matrice di covarianza. Suppongo che, ad esempio, se e che per 1 per essere vero dovremmo avere quel , dove e sono alcune altre variabili casuali. Tuttavia, non riesco a capire perché ciò valga per una delle tre opzioni. Qualsiasi intuizione sarebbe apprezzata. $X=\operatorname{cov}(X_1,X_2)$ $Y=\operatorname{cov}(Y_1,Y_2)$ $\operatorname{cov}(X_1,X_2) + \operatorname{cov}(Y_1,Y_2) = \operatorname{cov}(Z_1, Z_2)$ $Z_1$ $Z_2$

covariance covariance-matrix

— RBM
fonte

12

sfondo

Una matrice di covarianza per un vettore di variabili casuali incarna una procedura per calcolare la varianza di qualsiasi combinazione lineare di tali variabili casuali. La regola è che per qualsiasi vettore di coefficienti , $\mathbb{A}$ $X=(X_1, X_2, \ldots, X_n)^\prime$ $\lambda = (\lambda_1, \ldots, \lambda_n)$

\begin{matrix} (1) & Var (λ X) = λ A λ^{'} . \end{matrix}

$\operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.\tag{1}$

In altre parole, le regole della moltiplicazione matriciale descrivono le regole delle varianze.

Due proprietà di sono immediate ed evidenti: $\mathbb{A}$

Poiché le varianze sono aspettative di valori al quadrato, non possono mai essere negative. Pertanto, per tutti i vettori ,Le matrici di covarianza devono essere definite non negative. $\lambda$
$0 \leq Var (λ X) = λ A λ^{'} .$ $0 \le \operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.$
Le varianze sono solo numeri - o, se leggi letteralmente le formule della matrice, sono matrici. Pertanto, non cambiano quando li trasponi. La trasposizione dà Dal momento che ciò vale per tutti , deve eguagliare la sua trasposizione : le matrici di covarianza devono essere simmetriche. $1\times 1$ $(1)$
$λ A λ^{'} = Var (λ X) = Var (λ X)^{'} = {(λ A λ^{'})}^{'} = λ A^{'} λ^{'} .$ $\lambda \mathbb{A} \lambda ^\prime = \operatorname{Var}(\lambda X) = \operatorname{Var}(\lambda X) ^\prime = \left(\lambda \mathbb{A} \lambda ^\prime\right)^\prime = \lambda \mathbb{A}^\prime \lambda ^\prime.$ $\lambda$ $\mathbb{A}$ $\mathbb{A}^\prime$

Il risultato più profondo è che qualsiasi matrice simmetrica definita non negativa è una matrice di covarianza. $\mathbb{A}$ Ciò significa che in realtà esiste una variabile casuale valutata con vettore con come sua covarianza. Possiamo dimostrare questo con la costruzione in modo esplicito . Un modo è notare che la funzione di densità (multivariata) con la proprietà ha per la sua covarianza. (È necessaria una certa delicatezza quando non è invertibile, ma è solo un dettaglio tecnico.) $X$ $\mathbb{A}$ $X$ $f(x_1,\ldots, x_n)$

\log (f) \propto - \frac{1}{2} (x_{1}, \dots, x_{n}) A^{- 1} (x_{1}, \dots, x_{n})^{'}

$\log(f) \propto -\frac{1}{2} (x_1,\ldots,x_n)\mathbb{A}^{-1}(x_1,\ldots,x_n)^\prime$

A

$\mathbb{A}$

A

$\mathbb{A}$

soluzioni

Consenti a e essere matrici di covarianza. Ovviamente sono quadrati; e se la loro somma ha senso, devono avere le stesse dimensioni. Dobbiamo solo controllare le due proprietà. $\mathbb{X}$ $\mathbb{Y}$

La somma.
- Simmetria mostra la somma è simmetrica. $(X + Y)^{'} = X^{'} + Y^{'} = (X + Y)$ $(\mathbb{X}+\mathbb{Y})^\prime = \mathbb{X}^\prime + \mathbb{Y}^\prime = (\mathbb{X} + \mathbb{Y})$
- Precisione non negativa. Sia qualsiasi vettore. Quindi dimostra il punto usando le proprietà di base della moltiplicazione di matrici. $\lambda$ $λ (X + Y) λ^{'} = λ X λ^{'} + λ Y λ^{'} \geq 0 + 0 = 0$ $\lambda(\mathbb{X}+\mathbb{Y})\lambda^\prime = \lambda \mathbb{X}\lambda^\prime + \lambda \mathbb{Y}\lambda^\prime \ge 0 + 0 = 0$
Lascio questo come esercizio.
Questo è difficile. Un metodo che uso per pensare a problemi di matrice impegnativi è quello di fare alcuni calcoli con matrici . Esistono alcune matrici di covarianza comuni e familiari di queste dimensioni, come con e . La preoccupazione è che potrebbe non essere definito: cioè, potrebbe produrre un valore negativo quando si calcola una varianza? Se lo farà, allora avremmo meglio avere alcuni coefficienti negativi nella matrice. Ciò suggerisce di considerare per . Per ottenere qualcosa di interessante, potremmo inizialmente gravitare sulle matrici $2\times 2$
$(\begin{matrix} a & b \\ b & a \end{matrix})$ $\pmatrix{a & b \\ b & a}$ $a^2 \ge b^2$ $a \ge 0$ $\mathbb{XY}$ $X = (\begin{matrix} a & - 1 \\ - 1 & a \end{matrix})$ $\mathbb{X} = \pmatrix{a & -1 \\ -1 & a}$ $a \ge 1$ $\mathbb{Y}$ con strutture di aspetto diverso. Mi vengono in mente matrici diagonali, come con . (Nota come possiamo scegliere liberamente alcuni dei coefficienti, come e , perché possiamo ridimensionare tutte le voci in qualsiasi matrice di covarianza senza modificarne le proprietà fondamentali. Ciò semplifica la ricerca di esempi interessanti.) $Y = (\begin{matrix} b & 0 \\ 0 & 1 \end{matrix})$ $\mathbb{Y} = \pmatrix{b & 0 \\ 0 & 1}$ $b\ge 0$ $-1$ $1$
Lascio a voi per calcolare e verificare se è sempre una matrice di covarianza per tutti i valori consentiti di e . $\mathbb{XY}$ $a$ $b$

— whuber
fonte

13

Una matrice reale è una matrice di covarianza se e solo se è semi-definita positiva simmetrica.

suggerimenti:

1) Se e sono simmetrici, simmetrico? Se per qualsiasi e per qualsiasi , cosa puoi concludere su ? $X$ $Y$ $X+Y$ $z^TX z \ge 0$ $z$ $z^TY z \ge 0$ $z$ $z^T(X+Y)z$

2) Se è simmetrico, simmetrico? Se gli autovalori di non sono negativi, cosa puoi concludere sugli autovalori di ? $X$ $X^2$ $X$ $X^2$

3) Se e sono simmetrici, puoi concludere che è simmetrico o puoi trovare un contro-esempio? $X$ $Y$ $XY$

— Mark L. Stone
fonte