Perché una matrice di covarianza del campione è singolare quando la dimensione del campione è inferiore al numero di variabili?

Diciamo che ho una distribuzione gaussiana multivariata . E prendo osservazioni (ciascuno di essi un -vettore) da questa distribuzione e calcolare la matrice di covarianza del campione . In questo articolo , gli autori affermano che la matrice di covarianza del campione calcolata con è singolare.n p S p > $p$$n$$p$$S$$p > n$

• Come è vero o derivato?
• Qualche spiegazione?

Alcuni fatti sui ranghi delle matrici, offerti senza prove (ma le prove di tutti o quasi tutti dovrebbero essere fornite in testi di algebra lineare standard o, in alcuni casi, impostate come esercizi dopo aver fornito informazioni sufficienti per poterlo fare):

Se e B sono due matrici conformi, quindi:$A$$B$

(i) rango di colonna di = rango di riga di $A$$A$

(ii) $\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T)$

(iii) $\text{rank}(AB)\leq \min(\text{rank}(A),\text{rank}(B))$

(iv) $\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$

(v) se è una matrice quadrata di rango completo, quindi rango ( A B ) = rango ( A $B$$\text{rank}(AB) = \text{rank}(A)$

Considera la matrice dei dati di esempio, y . Da quanto sopra, il grado di y è al massimo min ( n , p ) .$n\times p$$y$$y$$\min(n,p)$

Inoltre, da quanto sopra chiaramente il rango di non sarà più grande del rango di y (considerando il calcolo di S in forma di matrice, con forse qualche semplificazione).$S$$y$$S$

Se allora$n<p$ nel qual caso classifica ( S ) < p .$\text{rank}(y)<p$$\text{rank}(S)<p$

La risposta breve alla tua domanda è quella classifica $(S) \le n - 1$ . Quindi se , allora S è singolare.$p > n$$S$

Per una risposta più dettagliata, ricorda che la matrice di covarianza del campione (imparziale) può essere scritta come

In effetti, stiamo sommando matrici, ognuna con un rango di 1. Supponendo che le osservazioni siano linearmente indipendenti, in un certo senso ogni osservazione x i contribuisce 1 al rango ( S ) e un 1 viene sottratto dal rango (se p > n ) perché centriamo ogni osservazione di ˉ x . Tuttavia, se nelle osservazioni è presente la multicollinearità , allora classifica $n$$x_i$$(S)$$p > n$$\bar{x}$ potrebbe essere ridotto, il che spiega perché il grado potrebbe essere inferiore a n - 1 .$(S)$$n - 1$

Una grande quantità di lavoro è stata dedicata allo studio di questo problema. Ad esempio, un mio collega e io abbiamo scritto un articolo su questo stesso argomento, in cui eravamo interessati a determinare come procedere se è singolare quando applicato all'analisi discriminante lineare nell'impostazione p ≫ n .$S$$p \gg n$

Quando guardi la situazione nel modo giusto, la conclusione è intuitivamente ovvia e immediata.

Questo post offre due dimostrazioni. Il primo, immediatamente sotto, è a parole. È equivalente a un semplice disegno, che appare alla fine. Nel mezzo c'è una spiegazione del significato delle parole e del disegno.

La matrice di covarianza per osservazioni p -variate è una matrice p × p calcolata moltiplicando a sinistra una matrice X n p (i dati più recenti) per la sua trasposizione X ′ p n . Questo prodotto di matrici invia vettori attraverso una pipeline di spazi vettoriali in cui le dimensioni sono p e n . Conseguentemente la matrice di covarianza, qua lineare trasformazione, invierà R n in un sottospazio cui dimensione è al massimo min ( p , n ) .$n$ $p$$p\times p$$\mathbb{X}_{np}$$\mathbb{X}_{pn}^\prime$$p$$n$$\mathbb{R}^n$$\min(p,n)$È immediato che il rango della matrice di covarianza non sia maggiore di . $\min(p,n)$ Di conseguenza, se il grado è al massimo n , che - essendo strettamente inferiore a p - significa che la matrice di covarianza è singolare.$p\gt n$$n$$p$

Tutta questa terminologia è completamente spiegata nel resto di questo post.

(Come Amoeba ha gentilmente sottolineato in un commento ora cancellato e mostra in una risposta a una domanda correlata , l'immagine di trova in realtà in un sottospazio codimensionale di R n (costituito da vettori i cui componenti si sommano a zero) perché le colonne sono state tutte aggiunte a zero, quindi il rango della matrice di covarianza del campione $\mathbb X$$\mathbb{R}^n$non può superaren-1.)$\frac{1}{n-1}\mathbb{X}^\prime \mathbb{X}$$n-1$

L'algebra lineare riguarda il monitoraggio delle dimensioni degli spazi vettoriali. Hai solo bisogno di apprezzare alcuni concetti fondamentali per avere una profonda intuizione per asserzioni su rango e singolarità:

1. La moltiplicazione di matrici rappresenta trasformazioni lineari di vettori. Una matrice M rappresenta una trasformazione lineare da uno spazio n- dimensionale V n ad uno spazio m- dimensionale V m . In particolare, invia qualsiasi x ∈ V n a M x = y ∈ V m . Che questa sia una trasformazione lineare segue immediatamente la definizione di trasformazione lineare e le proprietà aritmetiche di base della moltiplicazione di matrici.$m\times n$$\mathbb{M}$$n$$V^n$$m$$V^m$$x\in V^n$$\mathbb{M}x = y \in V^m$

2. Le trasformazioni lineari non possono mai aumentare le dimensioni. Ciò significa che l'immagine dell'intero spazio vettoriale sotto la trasformazione M (che è uno spazio sub-vettore di V m ) può avere una dimensione non maggiore di n . Questo è un teorema (facile) che segue dalla definizione di dimensione.$V^n$$\mathbb M$$V^m$$n$

3. La dimensione di qualsiasi spazio sub-vettore non può superare quella dello spazio in cui si trova. Questo è un teorema, ma di nuovo è ovvio e facile da dimostrare.

4. Il rango di una trasformazione lineare è la dimensione della sua immagine. Il rango di una matrice è il rango della trasformazione lineare che rappresenta. Queste sono definizioni.

5. Una matrice singolare ha un rango strettamente inferiore a $\mathbb{M}_{mn}$$n$ (la dimensione del suo dominio). In altre parole, la sua immagine ha una dimensione più piccola. Questa è una definizione

Per sviluppare l'intuizione, aiuta a vedere le dimensioni. Scriverò quindi le dimensioni di tutti i vettori e le matrici immediatamente dopo di loro, come in e x n . Quindi la formula generica$\mathbb{M}_{mn}$$x_n$

intende indicare che la matrice M , quando applicata a n -vettore x , produce un m -vettore y .$m\times n$$\mathbb M$$n$$x$$m$$y$

I prodotti delle matrici possono essere pensati come una "pipeline" di trasformazioni lineari. Genericamente, supponiamo è un un vettore dimensionale risultante dalle successive applicazioni di lineare trasformazioni M m n , L l m , ... , B b c , e A un b alla n -vettore x n proveniente dallo spazio V n . Questo porta il vettore x n in successione attraverso un insieme di spazi vettoriali di dimensioni $y_a$$a$$\mathbb{M}_{mn}, \mathbb{L}_{lm}, \ldots, \mathbb{B}_{bc},$$\mathbb{A}_{ab}$$n$$x_n$$V^n$$x_n$. e, infine,$m, l, \ldots, c, b,$$a$

Cerca il collo di bottiglia : poiché le dimensioni non possono aumentare (punto 2) e i sottospazi non possono avere dimensioni maggiori degli spazi in cui si trovano (punto 3), ne consegue che la dimensione dell'immagine di non può superare la dimensione più piccola min ( a , b , c , … , l , m , n ) riscontrati nella pipeline.$V^n$$\min(a,b,c,\ldots,l,m,n)$

Questo diagramma della pipeline, quindi, dimostra pienamente il risultato quando viene applicato al prodotto :$\mathbb{X}^\prime \mathbb{X}$