Perché il grado di matrice di covarianza è al massimo

Come indicato in questa domanda, il rango massimo della matrice di covarianza è $n-1$ dove $n$ è la dimensione del campione e quindi se la dimensione della matrice di covarianza è uguale alla dimensione del campione, sarebbe singolare. Non riesco a capire perché sottraiamo $1$ dal rango massimo $n$ della matrice di covarianza.

covariance-matrix linear-algebra

— user3070752
fonte

Per ottenere l'intuizione, pensa a

n = 2

$n=2$ punti in 3D. Qual è la dimensionalità del sottospazio in cui si trovano questi punti? Puoi inserirli su una linea (sottospazio 1D)? O hai bisogno di un piano (sottospazio 2D)?

— ameba dice di reintegrare Monica il

Quindi capisci che

n = 2

$n=2$ porta alla matrice di covarianza di grado 1? Ok, prendiamo

n = 3

$n=3$ punti. Riesci a vedere che puoi sempre adattarli su un piano 2D?

— ameba dice di reintegrare Monica il

@amoeba il tuo esempio è stato chiaro, ma non riesco a capire quale sia la relazione tra l'iperpiano adatto nel tuo esempio e la matrice di covarianza?

— user3070752,

— Ci

Risposte:

Lo stimatore imparziale della matrice di covarianza del campione dato punti di dati è $n$ $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ doveè la media su tutti i punti. Indichiamocome. Il

C = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤},

$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$

\bar{x} = \sum x_{i} / n

$\bar \x = \sum \x_i /n$

(x_{i} - \bar{x})

$(\x_i-\bar \x)$

z_{i}

$\newcommand{\z}{\mathbf z}\z_i$

fattore non cambia il rango, e ogni termine nella somma ha (per definizione) rango

, quindi il nocciolo della domanda è il seguente:

\frac{1}{n - 1}

$\frac{1}{n-1}$

1

$1$

Perché ho rango e non rango , come sembrerebbe, perché stiamo sommando di ranghi matrici? $\sum \z_i\z_i^\top$ $n-1$ $n$ $n$ $1$

La risposta è che succede perché non sono indipendenti. Per costruzione, . Quindi se conosci di , allora l'ultimo rimanente è completamente determinato; non stiamo sommando matrici di grado indipendenti , stiamo sommando solo matrici di grado indipendenti e quindi aggiungendo un'altra matrice di grado che è completamente linearmente determinata dal resto. Quest'ultima aggiunta non cambia il grado generale. $\z_i$ $\sum\z_i = 0$ $n-1$ $\z_i$ $\z_n$ $n$ $1$ $n-1$ $1$ $1$

Possiamo vederlo direttamente se riscriviamo come e ora lo inseriamo nell'espressione sopra: $\sum\z_i = 0$

z_{n} = - \sum_{i = 1}^{n - 1} z_{i},

$\z_n = -\sum_{i=1}^{n-1}\z_i,$

Ora rimangono solo termini nella somma e diventa chiaro che l'intera somma può avere al massimo il grado .

\sum_{i = 1}^{n} z_{i} z_{i}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} z_{i}^{⊤} + (- \sum_{i = 1}^{n - 1} z_{i}) z_{n}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} (z_{i} - z_{n})^{⊤} .

$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$ $n-1$ $n-1$

Questo risultato, tra l'altro, suggerisce perché il fattore nello stimatore imparziale della covarianza sia e non $\frac{1}{n-1}$ . $\frac{1}{n}$

L'intuizione geometrica a cui ho accennato nei commenti sopra è che si può sempre adattare una linea 1D a due punti qualsiasi in 2D e si può sempre adattare un piano 2D a tre punti qualsiasi in 3D, ovvero la dimensionalità del sottospazio è sempre ; questo funziona solo perché supponiamo che questa linea (e piano) possa essere "spostata" per adattarci ai nostri punti. "Posizionare" questa linea (o piano) in modo che passi attraverso equivale a centrare nell'argomento algebrico sopra. $n-1$ $\bar \x$

— ameba dice Reinstate Monica
fonte

Un po 'più breve, credo, la spiegazione va così:

$n$ $m$ $x$ $n$ $m$

$x$ $min(n,m)$

$n$ $m$ $z$

$z = x - E[x]$

$min(n,m-1)$

$\sum_{i=1}^{m}z_{*i} =0$

$z$

$x$

$cov(x,x) = \frac{1}{m-1}zz^T$

$rank(zz^T)$

$rank(zz^T) = rank(z) = min(n,m-1)$

— Mikel
fonte