Strane correlazioni nei risultati SVD di dati casuali; hanno una spiegazione matematica o è un bug LAPACK?

Osservo un comportamento molto strano nel risultato SVD di dati casuali, che posso riprodurre sia in Matlab che in R. Sembra un problema numerico nella libreria LAPACK; è?

Traccio $n=1000$ campioni dal $k=2$ gaussiano dimensionale con zero covarianza di identità e media: $X\sim \mathcal N (0, \mathbf I)$ . Li assemblo in una matrice di dati X . (Opzionalmente posso centrare X o no, non influenza quanto segue.) Quindi eseguo la decomposizione a valore singolare (SVD) per ottenere X = U S V ⊤ . Prendiamo alcuni due elementi particolari di U , ad esempio U 11 e $1000 \times 2$$\mathbf X$$\mathbf X$$\mathbf X=\mathbf{USV}^\top$$\mathbf U$$U_{11}$$U_{22}$ , e chiedere qual è la correlazione tra loro attraverso diversi pareggi di$\mathbf X$ . Mi aspetterei che se il numero$N_\mathrm{rep}$ di pareggi è abbastanza grande, quindi tutte queste correlazioni dovrebbero essere intorno allo zero (vale a dire correlazioni popolazione dovrebbe essere pari a zero, e le correlazioni campione sarà piccola).

Tuttavia, osservo alcune correlazioni stranamente forti (circa $\pm0.2$ ) tra $U_{11}$ , $U_{12}$ , $U_{21}$ e $U_{22}$ , e solo tra questi elementi. Tutte le altre coppie di elementi hanno correlazioni intorno allo zero, come previsto. Ecco come appare la matrice di correlazione per i $20$ elementi "superiori" di $\mathbf U$ (primi $10$ elementi della prima colonna, quindi i primi $10$ elementi della seconda colonna):

Notare valori stranamente alti negli angoli in alto a sinistra di ciascun quadrante.

È stato il commento di questo @ whuber che ha portato questo effetto alla mia attenzione. @whuber ha sostenuto che PC1 e PC2 non sono indipendenti e ha presentato questa forte correlazione come prova di ciò. Tuttavia, la mia impressione è che abbia scoperto per errore un bug numerico nella libreria LAPACK. Cosa sta succedendo qui?

Ecco il codice R di @ whuber:

stat <- function(x) {u <- svd(x)$u; c(u[1,1], u[2, 2])};
Sigma <- matrix(c(1,0,0,1), 2);
sim <- t(replicate(1e3, stat(MASS::mvrnorm(10, c(0,0), Sigma))));
cor.test(sim[,1], sim[,2]);

Ecco il mio codice Matlab:

clear all
rng(7)

n = 1000;     %// Number of variables
k = 2;        %// Number of observations
Nrep = 1000;  %// Number of iterations (draws)

for rep = 1:Nrep
    X = randn(n,k);
    %// X = bsxfun(@minus, X, mean(X));
    [U,S,V] = svd(X,0);

    t(rep,:) = [U(1:10,1)' U(1:10,2)'];
end

figure
imagesc(corr(t), [-.5 .5])
axis square
hold on
plot(xlim, [10.5 10.5], 'k')
plot([10.5 10.5], ylim, 'k')

Questo non è un bug.

Come abbiamo esplorato (ampiamente) nei commenti, stanno accadendo due cose. Il primo è che le colonne di $U$ sono vincolate per soddisfare i requisiti SVD: ognuna deve avere una lunghezza unitaria ed essere ortogonale a tutte le altre. Visualizzazione di $U$ come variabile casuale creato da una matrice casuale $X$ tramite un particolare algoritmo SVD, abbiamo quindi notare che questi $k(k+1)/2$ vincoli funzionalmente indipendenti creare dipendenze statistiche tra le colonne di $U$ .

Queste dipendenze potrebbero essere rivelate in misura maggiore o minore studiando le correlazioni tra i componenti di $U$ , ma emerge un secondo fenomeno : la soluzione SVD non è unica. Come minimo, ogni colonna di $U$ può essere negata indipendentemente, dando almeno $2^k$ soluzioni distinte con $k$ colonne. Forti correlazioni (superiore a $1/2$ ) può essere indotta cambiando i segni delle colonne opportunamente. (Un modo per fare questo è dato in mio primo commento alla risposta di Amoeba in questa discussione: forzo tutti i $u_{ii},i=1,\ldots, k$ per avere lo stesso segno, rendendoli tutti negativi o tutti positivi con uguale probabilità.) D'altra parte, tutte le correlazioni possono essere fatte svanire scegliendo i segni in modo casuale, indipendente, con pari probabilità. (Faccio un esempio di seguito nella sezione "Modifica".)

Con cura, possiamo distinguere parzialmente entrambi questi fenomeni durante la lettura matrici dispersione dei componenti $U$ . Alcune caratteristiche - come l'apparizione di punti distribuiti in modo quasi uniforme all'interno di regioni circolari ben definite - credono in una mancanza di indipendenza. Altri, come i grafici a dispersione che mostrano chiare correlazioni diverse da zero, dipendono ovviamente dalle scelte fatte nell'algoritmo, ma tali scelte sono possibili solo a causa della mancanza di indipendenza in primo luogo.

Il test finale di un algoritmo di decomposizione come SVD (o Cholesky, LR, LU, ecc.) È se fa ciò che afferma. In questa circostanza è sufficiente verificare che quando SVD restituisce il triplo delle matrici $(U, D, V)$ , $X$ viene recuperato, fino all'errore di virgola mobile previsto, dal prodotto $UDV^\prime$ ; che le colonne di$U$ e di$V$ sono ortonormali; e che$D$ è diagonale, i suoi elementi diagonali sono non negativi e sono disposti in ordine decrescente. Ho applicato tali testsvdall'algoritmo inRe non ho mai trovato un errore. Sebbene ciò non sia certo, è perfettamente corretto, tale esperienza - che credo sia condivisa da moltissime persone - suggerisce che qualsiasi errore richiederebbe un tipo straordinario di input per essere manifestato.

Quella che segue è un'analisi più dettagliata dei punti specifici sollevati nella domanda.

Usando Rla svdprocedura, per prima cosa puoi verificare che all'aumentare di $k$ , le correlazioni tra i coefficienti di $U$ si indeboliscono, ma sono comunque diverse da zero. Se dovessi semplicemente eseguire una simulazione più ampia, scopriresti che sono significativi. (Quando $k=3$ , 50000 iterazioni dovrebbero essere sufficienti.) Contrariamente a quanto affermato nella domanda, le correlazioni non "scompaiono del tutto".

In secondo luogo, un modo migliore per studiare questo fenomeno è tornare alla questione di base dell'indipendenza dei coefficienti. Sebbene nella maggior parte dei casi le correlazioni tendano ad essere vicine allo zero, la mancanza di indipendenza è chiaramente evidente. Ciò è reso più evidente studiando la distribuzione multivariata completa dei coefficienti di$U$ . La natura della distribuzione emerge anche in piccole simulazioni in cui le correlazioni diverse da zero non possono (ancora) essere rilevate. Ad esempio, esaminare una matrice a dispersione dei coefficienti. Per renderlo praticabile, ho impostato la dimensione di ogni set di dati simulato su $4$ e ho mantenuto $k=2$ , disegnando così $1000$realizzazioni della matrice $4\times 2$$U$ , creando una matrice $1000\times 8$ . Ecco la sua matrice full scatterplot, con le variabili elencate in base alla loro posizione all'interno di $U$ :

Scansione lungo la prima colonna rivela un interessante mancanza di indipendenza tra $u_{11}$ e l'altra $u_{ij}$ : sguardo a come quadrante superiore della dispersione con $u_{21}$ è quasi vuoto, per esempio; oppure esaminare la nuvola ellittica inclinata verso l'alto che descrive la relazione $(u_{11}, u_{22})$ e la nuvola inclinata verso il basso per la coppia $(u_{21}, u_{12})$ . Uno sguardo ravvicinato rivela una chiara mancanza di indipendenza tra quasi tutti questi coefficienti: pochissimi sembrano remotamente indipendenti, anche se la maggior parte mostra una correlazione quasi zero.

(NB: la maggior parte delle nuvole circolari sono proiezioni da un'ipersfera creata dalla condizione di normalizzazione costringendo la somma dei quadrati di tutti i componenti di ogni colonna ad essere unità.)

Le matrici Scatterplot con $k=3$ e $k=4$ presentano modelli simili: questi fenomeni non si limitano a $k=2$ , né dipendono dalle dimensioni di ciascun set di dati simulato: diventano solo più difficili da generare ed esaminare.

Le spiegazioni per questi schemi vanno all'algoritmo usato per ottenere $U$ nella decomposizione del valore singolare, ma sappiamo che tali schemi di non indipendenza devono esistere per le proprietà molto definitive di $U$ : poiché ogni colonna successiva è (geometricamente) ortogonale alla precedente quelle, queste condizioni di ortogonalità impongono dipendenze funzionali tra i coefficienti, che si traducono quindi in dipendenze statistiche tra le corrispondenti variabili casuali.

modificare

In risposta ai commenti, può valere la pena di osservare in che misura questi fenomeni di dipendenza riflettono l'algoritmo sottostante (per calcolare un SVD) e quanto sono inerenti alla natura del processo.

I modelli specifici di correlazioni tra coefficienti dipendono molto dalle scelte arbitrarie fatte dall'algoritmo SVD, perché la soluzione non è unica: le colonne di $U$ possono sempre essere moltiplicate indipendentemente per $-1$ o $1$ . Non esiste un modo intrinseco per scegliere il segno. Pertanto, quando due algoritmi SVD effettuano scelte di segno diverse (arbitrarie o forse anche casuali), possono determinare diversi schemi di grafici a dispersione dei valori $(u_{ij}, u_{i^\prime j^\prime})$ . Se vuoi vedere questo, sostituisci la statfunzione nel codice qui sotto con

stat <- function(x) {
  i <- sample.int(dim(x)[1]) # Make a random permutation of the rows of x
  u <- svd(x[i, ])$u         # Perform SVD
  as.vector(u[order(i), ])   # Unpermute the rows of u
}

Questo prima riordina casualmente le osservazioni x, esegue SVD, quindi applica l'ordinamento inverso in modo uche corrisponda alla sequenza di osservazione originale. Poiché l'effetto è formare miscele di versioni riflesse e ruotate dei grafici a dispersione originali, i grafici a dispersione nella matrice appariranno molto più uniformi. Tutte le correlazioni del campione saranno estremamente vicine allo zero (per costruzione: le correlazioni sottostanti sono esattamente zero). Tuttavia, la mancanza di indipendenza sarà ancora evidente (nelle forme circolari uniformi che compaiono, in particolare tra $u_{i,j}$ e $u_{i,j^\prime}$ ).

La mancanza di dati in alcuni quadranti di alcuni dei grafici a dispersione originali (mostrati nella figura sopra) deriva da come l' Ralgoritmo SVD seleziona i segni per le colonne.

Non cambia nulla delle conclusioni. Poiché la seconda colonna di $U$ è ortogonale alla prima, essa (considerata come variabile casuale multivariata) dipende dalla prima (considerata anche come variabile casuale multivariata). Non è possibile avere tutti i componenti di una colonna indipendenti da tutti i componenti dell'altra; tutto quello che puoi fare è guardare i dati in modo da oscurare le dipendenze, ma la dipendenza persisterà.

Ecco un Rcodice aggiornato per gestire i casi $k\gt 2$ e disegnare una parte della matrice scatterplot.

k <- 2    # Number of variables
p <- 4    # Number of observations
n <- 1e3  # Number of iterations
stat <- function(x) as.vector(svd(x)$u)
Sigma <- diag(1, k, k); Mu <- rep(0, k)
set.seed(17)
sim <- t(replicate(n, stat(MASS::mvrnorm(p, Mu, Sigma))))
colnames(sim) <- as.vector(outer(1:p, 1:k, function(i,j) paste0(i,",",j)))
pairs(sim[, 1:min(11, p*k)], pch=".")

Questa risposta presenta una replica dei risultati di @ whuber in Matlab e anche una dimostrazione diretta che le correlazioni sono un "artefatto" di come l'implementazione SVD sceglie il segno per i componenti.

Data la lunga catena di commenti potenzialmente confusi, voglio sottolineare per i futuri lettori che sono pienamente d'accordo con quanto segue:

1. Nel contesto di questa discussione, $\mathbf U$ è certamente una variabile casuale.
2. Le colonne di devono essere di lunghezza 1 . Ciò significa che gli elementi all'interno di ciascuna colonna non sono indipendenti; i loro quadrati si sommano a uno. Tuttavia, ciò non implica alcuna correlazione tra U i 1 e U j 1 per i ≠ j e la correlazione del campione dovrebbe essere minuscola per un numero elevato N r e $\mathbf U$$1$$U_{i1}$$U_{j1}$$i\ne j$$N_\mathrm{rep}$ delle estrazioni casuale.
3. Le colonne di devono essere ortogonali. Ciò significa che gli elementi di colonne diverse non sono indipendenti; il loro prodotto punto è zero. Ancora una volta, ciò non implica alcuna correlazione tra U i 1 e U j $\mathbf U$$U_{i1}$$U_{j2}$ e la correlazione del campione dovrebbe essere minuscola.

$\sim 0.2$$N_\mathrm{rep}=1000$ ?

$n=4$$k=2$$N_\mathrm{rep}=1000$ in Matlab:

A sinistra è la matrice di correlazione, a destra - grafici a dispersione simili a quelli di @ whuber. L'accordo tra le nostre simulazioni sembra perfetto.

$U$

[U,S,V] = svd(X,0);

Aggiungo le seguenti due righe:

U(:,1) = U(:,1) * sign(randn(1));
U(:,2) = U(:,2) * sign(randn(1));

Ecco il risultato:

Tutte le correlazioni svaniscono, esattamente come mi aspettavo dall'inizio !

$1$$1$ ). Ma le correlazioni svaniscono.

$\mathbf U$$\mathbf U$

PS. Congratulazioni a @whuber per aver superato la reputazione di 100k oggi!

Check the norm of your singular vectors U and V, it's 1 by definition. You don't need to go through SVD to get the same exact matrix you plot by simply generating two random variables $x$ and $y$ with the constraint that the sum of their squares is 1:

Assume that the means are zero, then

This will not be equal to zero. You can plug the standard normal into $x$ and $y$ to see what's the value of covariance to be expected here.