Una matrice di covarianza del campione è sempre simmetrica e definita positiva?

33

Quando si calcola la matrice di covarianza di un campione, si garantisce quindi una matrice simmetrica e definita positiva?

Attualmente il mio problema ha un campione di 4600 vettori di osservazione e 24 dimensioni.

sampling covariance

— Morten
fonte

Per campionare la matrice di covarianza uso la formula: dove è il numero di campioni e è la media del campione.

Q_{n} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}

$Q_n = \frac{1}{n} \sum\limits_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top$

n

$n$

\bar{x}

$\bar{x}$

— Morten,

4

Ciò verrebbe normalmente chiamato "calcolo della matrice di covarianza" o "stima della matrice di covarianza" anziché "campionamento della matrice di covarianza".

— Glen_b

1

Una situazione comune in cui la matrice di covarianza non è definita è quando le 24 "dimensioni" registrano la composizione di una miscela che si somma al 100%.

— whuber

41

Per un campione di vettori , con , il vettore medio del campione è e la matrice di covarianza del campione è Per un vettore diverso da zero , abbiamo Pertanto, è sempre semi-definito positivo . $x_i=(x_{i1},\dots,x_{ik})^\top$ $i=1,\dots,n$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i \, ,$

Q = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} .

$Q = \frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top \, .$

y \in R^{k}

$y\in\mathbb{R}^k$

y^{⊤} Q y = y^{⊤} (\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}) y

$y^\top Qy = y^\top\left(\frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top\right) y$

= \frac{1}{n} \sum_{i = 1}^{n} y^{⊤} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} y

$= \frac{1}{n} \sum_{i=1}^n y^\top (x_i-\bar{x})(x_i-\bar{x})^\top y$

= \frac{1}{n} \sum_{i = 1}^{n} {((x_{i} - \bar{x})^{⊤} y)}^{2} \geq 0 . (*)

$= \frac{1}{n} \sum_{i=1}^n \left( (x_i-\bar{x})^\top y \right)^2 \geq 0 \, . \quad (*)$

Q

$Q$

La condizione aggiuntiva affinché fosse definita positiva è stata data nel seguente commento di whuber. Va come segue. $Q$

Definisci , per . Per qualsiasi diverso da zero , è zero se e solo se , per ogni . Supponiamo che l'insieme spans . Quindi, ci sono numeri reali tali che . Ma poi abbiamo , producendo che , una contraddizione. Quindi, se lo è span , allora $z_i=(x_i-\bar{x})$ $i=1,\dots,n$ $y\in\mathbb{R}^k$ $(*)$ $z_i^\top y=0$ $i=1,\dots,n$ $\{z_1,\dots,z_n\}$ $\mathbb{R}^k$ $\alpha_1,\dots,\alpha_n$ $y=\alpha_1 z_1 +\dots+\alpha_n z_n$ $y^\top y=\alpha_1 z_1^\top y + \dots +\alpha_n z_n^\top y=0$ $y=0$ $z_i$ $\mathbb{R}^k$ $Q$ è definito positivo . Questa condizione è equivalente a . $\mathrm{rank} [z_1 \dots z_n] = k$

— zen
fonte

2

Mi piace questo approccio, ma consiglierei un po 'di attenzione: non è necessariamente definito positivo. Le condizioni (necessarie e sufficienti) affinché ciò avvenga sono descritte nel mio commento alla risposta di Konstantin.

Q

$Q$

— whuber

1

Poiché il rango di è inferiore o uguale a , la condizione può essere semplificata al rango è uguale a k.

[z_{1}, z_{2}, \dots, z_{n}]

$[z_1, z_2, \cdots, z_n]$

k

$k$

— un'offerta non può rifiutare il

13

Una matrice di covarianza corretta è sempre simmetrica e positiva * semi * definita.

La covarianza tra due variabili è sfidata come . $\sigma(x,y) = E [(x-E(x))(y-E(y))]$

Questa equazione non cambia se si passa le posizioni di e . Quindi la matrice deve essere simmetrica. $x$ $y$

Deve anche essere positivo * semi- * definito perché:

Puoi sempre trovare una trasformazione delle tue variabili in modo tale che la matrice di covarianza diventi diagonale. Sulla diagonale, trovi le varianze delle variabili trasformate che sono zero o positive, è facile vedere che questo rende la matrice trasformata positiva semidefinita. Tuttavia, poiché la definizione di definizione è invariante per trasformazione, ne consegue che la matrice di covarianza è semidefinita positiva in qualsiasi sistema di coordinate scelto.

Quando stimerai la tua matrice di covarianza (ovvero, quando calcoli la tua covarianza campione ) con la formula che hai indicato sopra, si otterrà. essere ancora simmetrico. Deve anche essere semidefinito positivo (penso), perché per ogni campione, il pdf che dà ad ogni punto campione pari probabilità ha la covarianza del campione come sua covarianza (qualcuno per favore verifica questo), quindi tutto quanto sopra indicato è ancora valido.

— Konstantin Schubert
fonte

1

PS: Sto iniziando a pensare che questa non era la tua domanda ...

— Konstantin Schubert,

Ma se vuoi sapere se il tuo algoritmo di campionamento lo garantisce, dovrai dichiarare come stai campionando.

— Konstantin Schubert,

1

Morten, la simmetria è immediata dalla formula. Per mostrare semi-determinatezza, è necessario stabilire che

per ogni vettore

. Ma

è

volte una somma di

(dove

, da cui

è una somma di

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u

$u$

Q_{n}

$Q_n$

1 / n

$1/n$

v_{i} v_{i}^{'}

$v_iv_i'$

v_{i} = x_{i} - \bar{x})

$v_i=x_i-\bar{x})$

n u Q_{n} u^{'}

$n uQ_nu'$

=

, che è lalunghezzaquadratadel vettore

. Poiché

e una somma di quadrati non possono mai essere negativi,

,QED. Ciò mostra anche che

proprio per quei vettori

che sono ortogonali a tutto il

(

u (v_{i} v_{i}^{'}) u^{'}

$u(v_iv_i')u'$

(u v_{i}) (u v_{i})^{'}

$(uv_i)(uv_i)'$

u v_{i}

$uv_i$

n > 0

$n\gt 0$

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u Q_{n} u^{'} = 0

$uQ_nu'=0$

u

$u$

v_{i}

$v_i$ cioè ,

per tutti

). Quando l' intervallo

, allora

e

è definito.

u v_{i} = 0

$uv_i=0$

i

$i$

v_{i}

$v_i$

u = 0

$u=0$

Q_{n}

$Q_n$

— whuber

1

@Morten L'invarianza di trasformazione è abbastanza chiara se si capisce geometricamente una moltiplicazione di matrice. Pensa al tuo vettore come una freccia. I numeri che descrivono il tuo vettore cambiano con il sistema di coordinate, ma la direzione e la lunghezza del tuo vettore non lo fanno. Ora, una moltiplicazione con una matrice significa che cambiate la lunghezza e la direzione di quella freccia, ma di nuovo l'effetto è geometricamente lo stesso in ciascun sistema di coordinate. Lo stesso vale per un prodotto scalare: è definito geometricamente e Geometriy è invariante alla trasformazione. Quindi la tua equazione ha lo stesso risultato in tutti i sistemi.

— Konstantin Schubert,

1

@Morten Quando pensi alle coordinate, l'argomento va così: Quando

è la tua matrice di trasformazione, allora:

con

come vettore di coordinate trasformato,

, quindi quando trasformi ciascuno elemento nell'equazione

, ottieni

A

$A$

v^{'} = A v

$v'=Av$

v^{'}

$v'$

M^{'} = A M A^{T}

$M'=AMA^T$

v^{T} M v > 0

$v^T M v > 0$

, che equivale a

e, poiché A è ortogonale,

è la matrice unitaria e otteniamo nuovamente

, il che significa che il trasformato e il equazione non trasformata ha lo stesso scalare del risultato, quindi sono entrambi o entrambi non maggiori di zero.

v^{' T} M^{'} v^{'} = (A v)^{T} A M A^{T} A v > 0

$v'^T M' v' = (Av)^T A M A^T A v > 0$

v^{T} A^{T} A M A^{T} A v > 0

$v^T A^T A M A^T A v > 0$

A^{T} A

$A^T A$

v^{T} M v > 0

$v^T M v > 0$

— Konstantin Schubert,

0

Le matrici varianza-covarianza sono sempre simmetriche, poiché si può provare dall'equazione effettiva per calcolare ciascun termine di detta matrice.

Inoltre, le matrici Varianza-Covarianza sono sempre matrici quadrate di dimensione n, dove n è il numero di variabili nell'esperimento.

Gli autovettori di matrici simmetriche sono sempre ortogonali.

Con PCA, si determinano gli autovalori della matrice per vedere se è possibile ridurre il numero di variabili utilizzate nell'esperimento.

— GEN
fonte

1

Benvenuto Gen. Nota che il tuo nome utente, identicon e un link alla tua pagina utente vengono aggiunti automaticamente a ogni post che pubblichi, quindi non è necessario firmare i tuoi post.

— Antoine Vernet,

3

Questa risposta potrebbe essere migliorata affrontando la questione della definitività positiva

— Silverfish,

Questo in realtà non risponde alla domanda: è solo una raccolta di asserzioni non supportate che potrebbero essere o non essere rilevanti. Potresti riformularlo in un modo che mostri come si risponde alla domanda e spieghi il ragionamento?

— whuber

0

Aggiungerei al simpatico argomento dello Zen il seguente che spiega perché spesso diciamo che la matrice di covarianza è definita positiva se . $n-1\geq k$

Se sono un campione casuale di una distribuzione di probabilità continua allora sono quasi sicuramente (nel senso della teoria della probabilità) linearmente indipendenti. Ora, non sono linearmente indipendenti perché $x_1,x_2,...,x_n$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ , ma a causa di essendo come linearmente indipendenti, come intervallo . Se , si estendono anche su . $\sum_{i=1}^n z_i = 0$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\mathbb{R}^{n-1}$ $n-1\geq k$ $\mathbb{R}^k$

Per concludere, se sono un campione casuale di una distribuzione di probabilità continua e , la matrice di covarianza è definita positiva. $x_1,x_2,...,x_n$ $n-1\geq k$

— giominas
fonte

0

Per quelli con un background non matematico come me che non catturano rapidamente le formule matematiche astratte, questo è un esempio elaborato che eccellono per la risposta più votata. La matrice di covarianza può essere derivata anche in altri modi.

— Parikshit Bhinde
fonte

Potresti spiegare come questo foglio di calcolo dimostra positività definitiva della matrice di covarianza?

— whuber

Non è così. Ho avuto difficoltà a visualizzare la matrice di covarianza nella sua stessa forma notazionale. Quindi ho creato questo foglio per me stesso e ho pensato che potesse aiutare qualcuno.

— Parikshit Bhinde,

Per favore, quindi, modificalo per includere una risposta alla domanda.

— whuber

Fatto :) Grazie per avermi suggerito.

— Parikshit Bhinde,

La domanda è "si può quindi garantire una matrice simmetrica e definita positiva?" Non riesco a percepire alcun elemento del tuo post che si rivolge a questo, perché (1) non identifica mai una matrice di covarianza; (2) non dimostra la positività positiva di nulla.

— whuber