Cholesky contro eigendecomposition per estrarre campioni da una distribuzione normale multivariata

Vorrei disegnare un campione $\mathbf{x} \sim N\left(\mathbf{0}, \mathbf{\Sigma} \right)$ . Wikipedia suggerisce di usare una composizione Cholesky o Eigendec , cioè $\mathbf{\Sigma} = \mathbf{D}_1\mathbf{D}_1^T$ o $\mathbf{\Sigma} = \mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^T$

E quindi il campione può essere disegnato tramite: $\mathbf{x} = \mathbf{D}_1 \mathbf{v}$ oppure $\mathbf{x} = \mathbf{Q}\sqrt{\mathbf{\Lambda}} \mathbf{v}$ dove $\mathbf{v} \sim N\left(\mathbf{0}, \mathbf{I} \right)$

Wikipedia suggerisce che sono entrambi ugualmente buoni per generare campioni, ma il metodo Cholesky ha il tempo di calcolo più veloce. È vero? Soprattutto numericamente quando si utilizza un metodo monte-carlo, dove le varianze lungo le diagonali possono differire di diversi ordini di grandezza? Esiste un'analisi formale su questo problema?

Il problema è stato studiato da Straka et.al per Unscented Kalman Filter che preleva campioni (deterministici) da una distribuzione normale multivariata come parte dell'algoritmo. Con un po 'di fortuna, i risultati potrebbero essere applicabili al problema monte-carlo.

La Cholesky Decomposition (CD) e la Eigen Decomposition (ED) - e del resto l'attuale Matrix Square Root (MSR) sono tutti modi in cui una matrice semi-definita positiva (PSD) può essere scomposta.

Si consideri la SVD di una matrice PSD, . Poiché P è PSD, questo è in realtà lo stesso del ED con P = U S U T . Inoltre, possiamo dividere la matrice diagonale per la sua radice quadrata: P = U $P = USV^T$$P = USU^T$, osservando che$P = U\sqrt{S}\sqrt{S}^TU^T$.$\sqrt{S} = \sqrt{S}^T$

Ora possiamo introdurre una matrice ortogonale arbitraria :$O$

.$P = U\sqrt{S}OO^T\sqrt{S}^TU^T = (U\sqrt{S}O)(U\sqrt{S}O)^T$

La scelta di influisce effettivamente sulle prestazioni di stima, soprattutto quando sono presenti elementi off-diagonali forti della matrice di covarianza.$O$

L'articolo ha studiato tre scelte di :$O$

• , che corrisponde all'ED;$O = I$
• $O = Q$ dalla decomposizione QR di , che corrisponde al CD; e$U\sqrt{S} = QR$
• che porta a una matrice simmetrica (cioè MSR)$O = U^T$

Da cui sono state tratte le seguenti conclusioni nel documento dopo molte analisi (citando):

• Per una variabile casuale da trasformare con elementi non correlati tutti e tre i MD considerati forniscono punti sigma identici e quindi non fanno quasi alcuna differenza sulla qualità dell'approssimazione [Trasformazione non profumata]. In tal caso, il CD può essere preferito per i suoi bassi costi.

• Se la variabile casuale contiene elementi correlati, l'uso di diverse [decomposizioni] può influire in modo significativo sulla qualità dell'approssimazione [Trasformazione non profumata] della matrice media o di covarianza della variabile casuale trasformata. I due casi precedenti hanno mostrato che si dovrebbe preferire [ED].

• Se gli elementi della variabile da trasformare mostrano una forte correlazione in modo che la matrice di covarianza corrispondente sia quasi singolare, si deve tener conto di un'altra questione, ovvero la stabilità numerica dell'algoritmo che calcola il MD. La SVD è molto più numericamente stabile per le matrici di covarianza quasi singolari rispetto alla ChD.

Riferimento:

• Straka, O .; Dunik, J .; Simandl, M. & Havlik, J. "Aspetti e confronto delle decomposizioni matriciali nel filtro Kalman senza profumo", American Control Conference (ACC), 2013, 2013, 3075-3080.

Ecco una semplice illustrazione che utilizza R per confrontare il tempo di calcolo dei due metodi.

library(mvtnorm)
library(clusterGeneration)
set.seed(1234)
mean <- rnorm(1000, 0, 1)
sigma <- genPositiveDefMat(1000)
sigma <- sigma$Sigma

eigen.time <- system.time(
  rmvnorm(n=1000, mean=mean, sigma = sigma, method = "eigen")
  )

chol.time <- system.time(
  rmvnorm(n=1000, mean=mean, sigma = sigma, method = "chol")
  )

I tempi di esecuzione sono

> eigen.time
   user  system elapsed 
   5.16    0.06    5.33 
> chol.time
   user  system elapsed 
   1.74    0.15    1.90

Quando si aumenta la dimensione del campione a 10000, i tempi di esecuzione sono

> eigen.time <- system.time(
+   rmvnorm(n=10000, mean=mean, sigma = sigma, method = "eigen")
+   )
> 
> chol.time <- system.time(
+   rmvnorm(n=10000, mean=mean, sigma = sigma, method = "chol")
+   )
> eigen.time
   user  system elapsed 
   15.74    0.28   16.19 
> chol.time
   user  system elapsed 
   11.61    0.19   11.89 

Spero che sia di aiuto.

Ecco la dimostrazione manuale, o povero, della dimostrazione:

> set.seed(0)
> # The correlation matrix
> corr_matrix = matrix(cbind(1, .80, .2, .80, 1, .7, .2, .7, 1), nrow=3)
> nvar = 3 # Three columns of correlated data points
> nobs = 1e6 # One million observations for each column
> std_norm = matrix(rnorm(nvar * nobs),nrow=nobs, ncol=nvar) # N(0,1)   

$$\text{Corr}=\small \begin{bmatrix} 1 & .8 & .2\\ .8& 1 & .7 \\ .2&.7&1 \end{bmatrix}$$

$$\text{N}=\tiny \begin{bmatrix} & [,1] & [,2] & [,3] \\ [1,] & -1.0806338 & 0.6563913 & 0.8400443 \\ [2,] & -1.1434241 & -0.1729738 & -0.9884772 \\ \vdots & \vdots & \vdots & \vdots \\ \vdots & \vdots & \vdots & \vdots \\ [999999,] & 0.4861827 & 0.03563006 & -2.1176976 \\ [1000000,] & -0.4394551 & 1.69265517 & -1.9534729\\ \end{bmatrix}$$

1. SVD METHOD:

$$\left[ \bf \underset{[3 \times 3]}{\color{blue}{\Large\,U}}\,\,\,\,\,\underset{\tiny \begin{bmatrix}\sqrt{d_1}&0&0\\0&\sqrt{d_2}&0\\0&0&\sqrt{d_3}\end{bmatrix}}{\Large\color{blue}{\Sigma^{0.5}}} \, \underset{[3\times 10^6]}{\Large\color{blue}{N^T}} \right]^T$$

> ptm <- proc.time()
> # Singular Value Decomposition method:
> svd = svd(corr_matrix)   
> rand_data_svd = t(svd$u %*% (diag(3) * sqrt(svd$d)) %*% t(std_norm))
> proc.time() - ptm
   user  system elapsed 
   0.29    0.05    0.34 
> 
> ptm <- proc.time()

2. CHOLESKY METHOD:

$$\bf \left[ \underset{\begin{bmatrix}c_{11}&0&0\\c_{21}&c_{22}&0\\c_{31}&c_{32}&c_{33}\end{bmatrix}}{\Large\color{blue}{\text{Ch}}}\,\,\underset{[3\times 10^6]}{\Large\color{blue}{N^T}} \right]^T$$

> # Cholesky method:
> chole = t(chol(corr_matrix))
> rand_data_chole = t(chole %*% t(std_norm))
> proc.time() - ptm
   user  system elapsed 
   0.25    0.03    0.31 

---

Thank you to @userr11852 for pointing out to me that there is a better way to calculate the difference in performance between SVD and Cholesky, in favor of the latter, using the function microbenchmark. At his suggestion, here is the result:

microbenchmark(chol(corr_matrix), svd(corr_matrix))
Unit: microseconds
              expr     min     lq      mean  median      uq     max neval cld
 chol(corr_matrix)  24.104  25.05  28.74036  25.995  26.467  95.469   100  a 
  svd(corr_matrix) 108.701 110.12 116.27794 111.065 112.719 223.074   100   b